ロボットのハイタッチ
月曜日、非営利のAI研究企業OpenAIの研究者たちは、イーロン・マスクが共同設立したDactylを発表しました。これは、ロボットハンドを制御するよう訓練されたAIシステムです。研究者によると、このシステムは、AIではこれまで不可能だった器用さで、手の中にある物体を操作できます。
Dactylが取り組んだ課題は、幼児に教えるようなものに聞こえるかもしれません。六面体のブロックを手に取り、特定の面が上になるまで回すという課題です。しかし幼児とは異なり、Dactylはこの課題を巧みにこなせるようになるまでに、1世紀を超えるほどの経験を必要としました。とはいえ、強力なコンピューターのおかげで、研究者たちはその経験すべてをわずか50時間の「現実世界」での時間に凝縮できました。
練習を重ねれば（ほぼ）完璧
研究者たちは、ドメインランダム化と呼ばれる手法を用い、シミュレーション環境、つまりコンピューターで生成した手を使うデジタル空間でDactylを訓練しました。シミュレーション環境には、立方体の大きさや重力の角度など、いくつかのパラメーターを設定し、それらの変数をランダム化しました。複数のシミュレーション上の手を同時に動かしました。Dactylにさまざまな仮想シナリオへの適応を促すことで、研究者たちはAIが現実世界の状況にも適応できる能力を養いました。
シミュレーション環境で50時間訓練した後、AIは現実世界のロボットハンドを操作し、与えられた課題を50回連続で成功させることができました（成功とは、ブロックを落とさず、80秒を超えずに課題を完了することです）。課題を完了するために手をどう動かすかを判断するには、3台のカメラを通してブロックを見るだけで済みました。
すべてを訓練する一つのアルゴリズム
研究者たちがブログ記事で述べているように、Dactylの訓練には、OpenAI Fiveの訓練に使ったものと同じアルゴリズムを使用しました。OpenAI Fiveは、コンピューター戦略ゲーム「DOTA 2」をプレイするよう訓練された5つのニューラルネットワークからなるチームです。Dactylの成功は、まったく異なる2つの課題をAIに教えられる汎用アルゴリズムを構築できることを示しています。これにより、研究者たちは将来、さまざまな目的に合わせてAIを訓練しやすくなる可能性があります。訓練の過程を最初からやり直す必要がなくなるためです。
