ソーシャルメディアの利用者にとって、フィードを食べ物の写真で埋め尽くすことほど好まれることは、ほとんどありません。しかし、こうした画像は、スマートフォンでさっと眺める以上に活用されることがほとんどありません。
MIT のコンピュータサイエンス・人工知能研究所（CSAIL）の研究者らは、こうした写真を分析することで、レシピの学習や人々の食習慣のより深い理解につながると考えています。カタール・コンピューティング研究所（QCRI）との新たな論文で、カタール・コンピューティング研究所（QCRI）と共同で、研究チームは、Pic2Recipe と呼ばれる人工知能システムを訓練しました。Pic2Recipeは、食べ物の写真を見て材料を予測し、似たレシピを提案できるシステムです。
「コンピュータビジョンでは、予測に必要な大規模データセットがないため、食べ物はほとんど顧みられてきませんでした」と、MIT のポスドク研究員で、MIT のアントニオ・トラルバ教授とともにこのシステムに関する論文を共同執筆したユスフ・アイタルは述べています。「しかし、ソーシャルメディア上の一見役に立たない写真も、健康習慣や食の嗜好に関する価値ある知見をもたらしうるのです。」
この論文は、今月後半にホノルルで開催されるコンピュータビジョン・パターン認識会議で発表される予定です。CSAIL の大学院生ニック・ハインズが筆頭著者を務め、スペイン・カタルーニャ工科大学のアマイア・サルバドールが共同筆頭著者を務めました。共著者には、CSAIL のポスドク研究員ハビエル・マリン、QCRI の科学者フェルダ・オフリ、研究部長インマー・ウェーバーが含まれます。
仕組み
ウェブの普及により、食品データの分類に関する研究は大きく拡大しましたが、その多くははるかに小規模なデータセットを用いてきました。そのため、食品のラベル付けに大きな欠落が生じることがよくありました。
2014 年、スイスの研究者らは「Food-101」データセットを作成し、それを用いて食べ物の画像を 50 パーセントの精度で認識するアルゴリズムを開発しました。その後の改良版でも精度は約 80 パーセントまでしか向上せず、データセットの規模が制約要因となっている可能性が示唆されました。
より大規模なデータセットであっても、さまざまな集団にどの程度一般化できるかという点では、限界があることがしばしばありました。香港の城市大学のデータベースには 11 万件を超える画像と 6 万 5 千件のレシピが含まれており、各レシピには材料リストと手順が記載されていますが、収録されているのは中華料理のみです。
CSAIL チームのプロジェクトは、この研究を土台としつつ、その範囲を大幅に広げることを目指しています。研究者らは All Recipes や Food.com などのウェブサイトを精査し、幅広い料理の材料に関する情報が付与された 100 万件を超えるレシピのデータベース「Recipe1M」を構築しました。そのデータを用いてニューラルネットワークを訓練し、食べ物の画像と対応する材料やレシピの間にあるパターンや関連性を見出させました。
食べ物の写真を与えられると、Pic2Recipe は小麦粉、卵、バターなどの材料を特定し、データベース内の画像に類似すると判断したレシピをいくつか提案することができます。（チームは、利用者が自分の食べ物の写真をアップロードして試せるオンラインデモを公開しています。）
「この技術は、人々が日々の栄養を記録したり、レストランで食事を撮影して後で家で作るために必要な材料を知ったりするのに使えるでしょう」と、本論文には関わっていない、ウィーン MODUL 大学ニューメディア技術学部の助教授クリストフ・トラットナーは述べています。「このチームの手法は、人間の判断とほぼ同等の水準で機能しており、注目に値します。」
このシステムは、データベースでの主要なテーマであったため、クッキーやマフィンなどのデザートで特に良好な結果を示しました。一方で、寿司ロールやスムージーなど、より曖昧な食べ物の材料を特定することは困難でした。
同じ料理に類似したレシピが複数ある場合にも、システムが行き詰まることがよくありました。例えば、ラザニアの作り方は数十種類あるため、チームは、異なるレシピを区別する際に、類似したレシピを「罰して」しまわないようにする必要がありました。（この問題を解決する一つの方法は、レシピそのものを比較する前に、各レシピの材料が全体的に似ているかどうかを確認することでした。）
今後、チームはシステムを改良し、食べ物をさらに詳細に理解できるようにしたいと考えています。これは、食べ物がどのように調理されているか（例：煮込みか、さいの目切りか）を推定したり、マッシュルームや玉ねぎなど、食材の種類の違いを見分けたりできるようにすることを意味します。
研究者らはまた、食事の好みと冷蔵庫にある食材のリストをもとに、何を料理すべきかを判断する「ディナーアシスタント」へとシステムを発展させることにも関心を持っています。
「この技術は、栄養情報が明示されていない場合でも、人々が食べ物に何が入っているかを把握する助けになる可能性があります」とハインズは述べています。「例えば、料理にどの材料が使われたかは分かっていても分量が分からない場合、写真を撮って材料を入力し、モデルを実行すれば、分量が分かっている類似のレシピを見つけられます。そして、その情報を使って自分の食事の量を概算できるのです。」
本プロジェクトは、一部、QCRI、欧州地域開発基金（ERDF）、スペイン経済・産業・競争力省からの資金提供を受けています。
