ソーシャルメディアの利用者が、食べ物の写真でフィードを埋め尽くすこと以上に好きなことは、そう多くない。それでも、こうした画像を使うのは、携帯電話でさっとスクロールして眺める程度のことがほとんどだ。
MITコンピューター科学・人工知能研究所（CSAIL）の研究者たちは、こうした写真を分析すれば、レシピを学び、人々の食習慣をより深く理解する助けになると考えている。カタール計算研究所との新たな論文で、カタール計算研究所（QCRI）と共同で、チームはPic2Recipeという人工知能システムを訓練した。このシステムは食べ物の写真を見て、食材を予測し、似たレシピを提案する。
「コンピュータービジョンでは、予測に必要な大規模データセットがないため、食べ物はほとんど注目されてきませんでした」と、MITのポスドク研究員で、MIT教授アントニオ・トラルバとともにこのシステムに関する論文を執筆したユスフ・アイタルは言う。「しかし、ソーシャルメディア上の一見役に立たない写真から、健康習慣や食の好みに関する貴重な知見が得られることがあります。」
この論文は今月後半、ホノルルで開催されるコンピュータービジョンとパターン認識に関する会議で発表される。筆頭著者はCSAILの大学院生ニック・ハインズで、スペインのカタルーニャ工科大学のアマイア・サルバドールが共同筆頭著者を務めた。共著者には、CSAILのポスドク研究員ハビエル・マリンのほか、QCRIの科学者フェルダ・オフリと研究ディレクターのインガマー・ウェーバーが名を連ねる。
仕組み
ウェブの普及を受け、食品データの分類に関する研究は大きく増加したが、その大半ははるかに小規模なデータセットを使っており、食品のラベル付けに大きな抜けが生じることが多い。
2014年、スイスの研究者たちは「Food-101」データセットを作成し、それを使って食品画像を50％の精度で認識できるアルゴリズムを開発した。その後の改良でも精度は約80％までしか向上せず、データセットの規模が制約要因となっている可能性が示された。
より大規模なデータセットでさえ、異なる人々にどれほど汎用できるかという点では、しばしば限界があった。香港城市大学のデータベースには、食材一覧と調理手順を含む画像が11万点以上、レシピが6万5000件収録されているが、中国料理のみを扱っている。
CSAILチームのプロジェクトは、こうした研究を土台としながら、その範囲を大幅に広げることを目指している。研究者たちはAll RecipesやFood.comなどのウェブサイトを調べ、幅広い料理の食材情報を付与した100万件超のレシピデータベース「Recipe1M」を作成した。次に、そのデータを使ってニューラルネットワークを訓練し、パターンを見つけ、食品画像とそれに対応する食材やレシピとのつながりを見いだせるようにした。
食品の写真を入力すると、Pic2Recipeは小麦粉、卵、バターなどの食材を特定し、データベース内の画像に似ていると判断したレシピをいくつか提案できる。（チームは、利用者が自分の食品写真をアップロードして試せるオンラインデモを公開している。）
「毎日の栄養摂取を記録したり、レストランで食事を撮影して、あとで自宅で作るのに何が必要かを知ったりするために、これを使う人がいるかもしれません」と、論文には関与していない、MODUL大学ウィーン新メディア技術学科の助教クリストフ・トラットナーは言う。「チームの手法は人間の判断に近い水準で機能しており、驚くべきことです。」
データベースで中心的なテーマだったため、このシステムはクッキーやマフィンなどのデザートで特に良い成績を示した。一方、巻き寿司やスムージーのように、より判断が難しい食品では食材の特定に苦労した。
同じ料理に似たレシピが複数ある場合も、しばしば判断に行き詰まった。たとえばラザニアには何十通りもの作り方があるため、異なるレシピを見分ける際、似たレシピに不当に「ペナルティー」を課さないようにする必要があった。（解決策の一つは、レシピそのものを比較する前に、それぞれの食材が概ね似ているかどうかを確かめることだった。）
将来的にチームは、食べ物をさらに詳細に理解できるよう、システムを改良したいと考えている。たとえば、食材がどのように調理されているか（煮込まれているのか、角切りにされているのか）を推測したり、キノコやタマネギなど食品の異なる種類を見分けたりできるようにすることが考えられる。
研究者たちはまた、食事の好みと冷蔵庫にある食材の一覧をもとに、何を作るかを考えてくれる「夕食アシスタント」へとシステムを発展させる可能性にも関心を寄せている。
「栄養情報が明示されていないときに、食べ物に何が入っているかを把握する助けになる可能性があります」とハインズは言う。「たとえば、料理に使われた食材は分かっていても分量が分からない場合、写真を撮って食材を入力し、モデルを実行すれば、分量が分かっている似たレシピを見つけられます。その情報を使って、自分の食事のおおよその内容を推定できます。」
このプロジェクトは、QCRIのほか、欧州地域開発基金（ERDF）とスペイン経済・産業・競争力省から一部資金提供を受けた。
