機械学習モデルに画像分類タスクを実行させるには、膨大な量のデータが必要だ。
データセットには数百万ドルの費用がかかり、最良のものでもモデルの性能に悪影響を及ぼすバイアスを含むことが多い。
そこでMITの研究者らは、合成データを使って訓練する画像分類用の機械学習モデルを開発した。
研究者らによると、このモデルは実データで訓練したモデルに匹敵する性能を発揮できる。
自然災害後の衛星写真から被害を特定するなど、画像分類タスクを実行する機械学習モデルの訓練には、膨大な量のデータが必要だ。しかし、こうしたデータは必ずしも簡単に入手できるとは限らない。そもそも利用可能なデータが存在する場合でも、データセットの作成には数百万ドルかかることがあり、最良のデータセットでさえ、モデルの性能に悪影響を及ぼすバイアスを含むことが多い。
データセットに伴う問題の一部を回避するため、MITの研究者らは、データセットを使う代わりに、特殊な種類の機械学習モデルを使って極めて現実的な合成データを生成し、別のモデルの下流の視覚タスクの訓練に用いる手法を開発した。
研究結果によると、合成データのみで訓練した対照学習による表現学習モデルは、実データから学習したものに匹敵する、あるいはそれを上回る視覚表現を学習できる。
生成モデルとして知られるこの特殊な機械学習モデルは、データセットに比べて、保存や共有に必要なメモリがはるかに少ない。合成データを使えば、実データの一部を配布する際の制約となるプライバシーや利用権に関する懸念を回避できる可能性もある。また、生成モデルを編集して、人種や性別など特定の属性を取り除くことで、従来のデータセットに存在するバイアスの一部に対処できる可能性がある。
「この手法はいずれ機能するはずだと分かっていました。あとは生成モデルがどんどん良くなるのを待つだけでした。しかし、この手法が実データよりも優れた結果を出すこともあると示せたときは、とりわけうれしかったです」と、コンピュータ科学・人工知能研究所（CSAIL）の研究者で、論文の筆頭著者であるアリ・ジャハニアン氏は語る。
ジャハニアン氏は、CSAILの大学院生であるザビエル・プイグ氏、ヨンロン・ティエン氏、そして上級著者で電気工学・コンピュータ科学科の助教であるフィリップ・イソラ氏とともに論文を執筆した。この研究は、国際学習表現会議で発表される予定だ。
合成データの生成
生成モデルを実データで訓練すると、本物とほとんど見分けがつかないほど現実的な合成データを生成できる。訓練では、車や猫など特定のクラスの物体を含む画像を何百万枚も生成モデルに見せる。するとモデルは車や猫がどのようなものかを学習し、似た物体を生成できるようになる。
ジャハニアン氏によると、研究者はスイッチを入れるだけで、事前学習済みの生成モデルを使い、その訓練用データセットの画像に基づく、独自性があり現実的な画像を次々と出力できる。
しかし、生成モデルがさらに有用なのは、訓練に使った基礎データをどのように変換するかも学習するからだと同氏は言う。車の画像で訓練したモデルは、訓練中には見ていないさまざまな状況で車がどのように見えるかを「想像」し、独特な姿勢、色、大きさの車を写した画像を出力できる。
同じ画像を複数の視点から捉えることは、対照学習と呼ばれる手法で重要だ。この手法では、ラベルのない画像を多数機械学習モデルに見せ、どの画像の組み合わせが似ているか、異なっているかを学習させる。
研究者らは、事前学習済みの生成モデルを対照学習モデルに接続し、2つのモデルが自動的に連携できるようにした。ジャハニアン氏によると、対照学習モデルは生成モデルに、物体のさまざまな見え方を生成するよう指示し、その後、複数の角度からその物体を識別することを学習できる。
「これは2つの積み木をつなげるようなものでした。生成モデルは同じものをさまざまな視点から見せてくれるので、対照学習の手法がより優れた表現を学習する助けになります」と同氏は言う。
実データを上回ることも
研究者らは、自分たちの手法を実データで訓練した複数の画像分類モデルと比較し、同等の性能を発揮し、場合によっては他のモデルを上回ることを確認した。
生成モデルを使う利点の一つは、理論上、無限の数のサンプルを作成できることだ。そこで研究者らは、サンプル数がモデルの性能にどう影響するかも調べた。その結果、一部のケースでは、独自のサンプルをより多く生成することで、さらなる性能向上につながることが分かった。
「生成モデルの優れた点は、誰かがすでに訓練してくれていることです。オンラインのリポジトリで見つけられるので、誰でも使えます。優れた表現を得るために、モデルに手を加える必要もありません」とジャハニアン氏は語る。
ただし同氏は、生成モデルの利用には限界もあると注意を促す。場合によっては、これらのモデルが元データを明らかにし、プライバシー上のリスクを生じさせることがある。また、適切な監査を行わなければ、訓練に使われたデータセットのバイアスを増幅する可能性もある。
同氏と共同研究者らは、今後の研究でこうした限界に対処する計画だ。さらに、機械学習モデルの改善につながるエッジケースをこの手法で生成することも検討している。エッジケースは、実データから学習できないことが多い。例えば、自動運転車向けのコンピュータビジョンモデルを訓練する場合、実データには犬と飼い主が高速道路を走っている例は含まれないため、モデルはその状況でどう対応すべきか学習できない。こうしたエッジケースのデータを合成して生成すれば、重大な結果を伴う状況の一部で、機械学習モデルの性能を向上させられる可能性がある。
研究者らは、さらに高度な画像を構成できるよう、生成モデルの改良も続けたいと同氏は述べる。
この研究は、MIT-IBMワトソンAIラボ、米国空軍研究所、米国空軍人工知能アクセラレーターの一部支援を受けた。
