MITの研究者らは、機械学習モデルの一種であるニューラルネットワークが、さまざまなタスクでどれほど頑健かを評価する手法を考案した。モデルが本来犯すべきでない間違いをしたときに検知する。
畳み込みニューラルネットワーク（CNN）は、コンピュータービジョンをはじめとする多くのタスクで画像を処理、分類するよう設計されている。しかし、人間の目には見えないほどわずかな変更、たとえば画像の一部の画素を少し暗くするだけで、CNNの分類結果が大きく変わることがある。こうした変更は「敵対的サンプル」と呼ばれる。敵対的サンプルがニューラルネットワークに及ぼす影響を調べることで、実世界で予期しない入力に対してモデルがどのように脆弱になり得るかを、研究者らは明らかにできる。
たとえば、自動運転車はCNNを使って視覚情報を処理し、適切な反応を導き出すことができる。車が一時停止標識に近づけば、標識を認識して停止する。しかし、2018年の論文では、標識に特定の白黒のステッカーを貼ると、自動運転車のCNNが標識を誤分類するよう仕向けられることが示された。その結果、車がまったく停止しない可能性もある。
しかし、あらゆるテスト入力について、大規模なニューラルネットワークの敵対的サンプルへの耐性を完全に評価する方法はこれまでなかった。研究者らは今週、国際学習表現会議で発表する論文で、どのような入力に対しても、敵対的サンプルを見つけるか、あるいは元の入力に似たまま摂動を加えたすべての入力が正しく分類されると保証する手法を説明している。これにより、特定のタスクにおけるネットワークの頑健性を測定できる。
同様の評価手法は存在するものの、より複雑なニューラルネットワークへの適用には拡張できていなかった。そうした手法と比べ、研究者らの手法は実行速度が3桁速く、より複雑なCNNにも適用できる。
研究者らは、手書き数字のMNISTデータセット（訓練画像6万枚、テスト画像1万枚）を分類するよう設計されたCNNの頑健性を評価した。その結果、テスト入力のおよそ4％にはわずかな摂動を加えるだけで敵対的サンプルが生成され、モデルが誤分類することが分かった。
「敵対的サンプルは、人間なら犯さないような間違いをするようニューラルネットワークをだまします」と、筆頭著者でコンピューター科学・人工知能研究所（CSAIL）の大学院生、ヴィンセント・チェン氏は言う。「ある入力について、小さな摂動を加えることで、ニューラルネットワークが通常とは大きく異なる出力を出すようにできるかどうかを明らかにしたいのです。そうすることで、入力に似た敵対的サンプルを少なくとも1つ見つけるか、その入力には敵対的サンプルが存在しないと保証し、さまざまなニューラルネットワークの頑健性を評価できます。」
論文の共著者は、CSAILの大学院生カイ・シャオ氏と、CSAILの研究者で電気工学・コンピューター科学科（EECS）の教授でもあるラス・テドレイク氏。
CNNは、ニューロンと呼ばれるユニットを含む多数の計算層を通じて画像を処理する。画像を分類するCNNでは、最終層に各カテゴリーに対応するニューロンが1つずつある。CNNは、出力値が最も高いニューロンに基づいて画像を分類する。「猫」か「犬」の2カテゴリーに画像を分類するCNNを考えてみよう。猫の画像を処理する場合、「猫」の分類ニューロンの値がより高くなるはずだ。画像にごくわずかな変更を加えた結果、「犬」の分類ニューロンの値がより高くなれば、それが敵対的サンプルとなる。
研究者らの手法は、画像の各画素に加えられるあらゆる変更を調べる。基本的に、変更を加えた画像のすべてに対してCNNが正しい分類（「猫」）を割り当てるなら、その画像には敵対的サンプルが存在しない。
この手法の基盤となるのは、「混合整数計画法」を改変したものだ。これは、変数の一部を整数に制限する最適化手法である。混合整数計画法は基本的に、変数に一定の制約を設けたうえで、ある目的関数の最大値を求めるために使われる。複雑なニューラルネットワークの頑健性評価にも効率よく拡張できるよう設計できる。
研究者らは、入力画像の各画素を一定の値まで明るくしたり暗くしたりできるよう、変更の上限を設定した。この上限の範囲内であれば、変更後の画像は元の入力画像と驚くほどよく似ており、CNNがだまされることはないはずだ。混合整数計画法を使って、誤分類を引き起こす可能性がある最小限の画素変更を見つける。
画素を調整すると、誤った分類の値が上がる可能性があるという考え方だ。たとえば、ペットを分類するCNNに猫の画像を入力すると、アルゴリズムは画素に摂動を加え続け、「犬」に対応するニューロンの値が「猫」の値を上回るまで上げられるかどうかを調べる。
アルゴリズムが成功すれば、入力画像に対する敵対的サンプルが少なくとも1つ見つかったことになる。誤分類を引き起こすのに必要だった最小限の変更を見つけるため、画素の調整を続けることもできる。この最小限の変更は「最小敵対的歪み」と呼ばれ、その値が大きいほど、ネットワークは敵対的サンプルに対して耐性がある。しかし、画素を変更するあらゆる組み合わせで正しい分類ニューロンが反応するなら、アルゴリズムはその画像に敵対的サンプルが存在しないと保証できる。
「1枚の入力画像について、誤分類を引き起こすように変更できるかどうかを知りたいのです」とチェン氏は言う。「できない場合は、許容される変更の全範囲を調べた結果、元の画像に摂動を加えたもののうち誤分類される画像はないと保証できます。」
最終的に、敵対的サンプルが少なくとも1つある入力画像の割合が算出され、残りの画像には敵対的サンプルがないと保証される。実世界のCNNには多数のニューロンがあり、数十種類もの分類を含む巨大なデータセットで訓練されるため、この手法を拡張できることが重要だとチェン氏は言う。
「異なるタスク向けに設計されたさまざまなネットワークにおいて、CNNが敵対的サンプルに対して頑健であることは重要です」と同氏は言う。「敵対的サンプルが存在しないと証明できるテストサンプルの割合が大きいほど、摂動を加えた入力にさらされたときのネットワークの性能は高くなるはずです。」
「頑健性に関する証明可能な限界は重要です。従来の防御策はほとんどすべて、再び破られる可能性があるからです」と、ザールラント大学の数学・コンピューター科学教授で、この研究には参加していないものの手法を試したマティアス・ハイン氏は言う。「厳密な検証の枠組みを使って、私たちのネットワークが実際に頑健であることを示し……通常の訓練と比べて、ネットワークを検証することも可能にしました。」
