彼らのアルゴリズム「Photo Wake-Up」は、2Dの写真や芸術作品から人物を取り出し、フレームの外へ走らせ、歩かせ、または跳ばせることができます。
このシステムでは、拡張現実ツールを使ってアニメーションを三次元で見ることもできます。研究者たちは結果を6月19日、カリフォルニア州ロングビーチで開催されるコンピュータービジョン・パターン認識会議で発表する予定です。この研究は最初にメディアの注目を集めたのは、12月にプレプリント形式でArXivに掲載された時でした。
「これはコンピュータービジョンにおける非常に難しい基本的な問題です」と、共著者でワシントン大学ポール・G・アレン・コンピューターサイエンス＆工学部の准教授イラ・ケメルマッハー＝シュリザーマンは述べています。「ここでの大きな課題は、入力が単一のカメラ位置からのものだけなので、人の一部が見えないことです。私たちの研究は、この分野の未解決問題に対する技術的な進歩と、芸術的な創造的視覚化を組み合わせています。」
これまで研究者たちは、単一の写真から人が走り出すアニメーションを作ることは不可能だと考えていました。
「複数の視点を使って3Dキャラクターを作ろうとする先行研究はあります」と、共著者でアレン・スクールの教授ブライアン・カーレスは述べています。「しかし、人を命あるものとして生き生きと動かし、シーンから走り出させることはできませんでしたし、ARを取り入れることもできませんでした。たった一枚の写真だけで説得力のある結果が得られたのは、非常に驚きでした。」
研究者たちは、Photo Wake-Upが新しい形につながると考えています。例えば、ゲーマーが実際の自分に似たアバターを作る新しい方法、来館者が美術館の絵画と交流する方法（例えば、モナ・リザとお茶を飲むなど）、あるいは子どもが描いた絵を命あるものにする仕組みなどです。
研究論文の例には、ゴールデンステート・ウォリアーズのステフィン・カリーがコートから走り去るアニメーション、ポール・マッカートニーがアルバム「ヘルプ！」のジャケットから飛び出すアニメーション、そしてマティスの「イカロス」（1944年）が額縁から出ていくアニメーションが含まれています。
この魔法を現実にするため、Photo Wake-Upはまず画像内の人物を特定し、体の輪郭のマスクを作成します。次に、3Dテンプレートを被写体の体の位置に合わせます。その後、アルゴリズムは驚くべきことを行います。テンプレートを変形させて写真の人物に実際に似て見えるようにするため、3Dの人物を2Dに投影し直すのです。
「3Dで正確に操作するのは非常に難しいのです」と、共著者でアレン・スクールの博士課程学生のチョン・イー・ウェンは述べています。「大まかにはできるかもしれませんが、キャラクターをアニメーション化すると、どんな誤差もはっきり分かってしまいます。ですから、完璧に扱う方法を見つける必要があり、2Dでこれを行う方が簡単なのです。」
Photo Wake-Upは、各ピクセルについて3D情報を保存します。それは、カメラまたは描き手からの距離と、人の関節がどのようにつながっているかです。テンプレートが人の形に合うように変形されると、アルゴリズムは画像の色であるテクスチャを貼り付けます。また、画像と3Dテンプレートの情報を使って人の背面も生成します。その後、ツールは両側を繋ぎ合わせ、振り向くことができる3Dの人物を作り出します。
3Dキャラクターが走る準備ができたら、アルゴリズムは背景を設定する必要があります。そうしないと、キャラクターの後ろに空白が残ってしまうからです。Photo Wake-Upは、画像の他の部分の情報を借りて、人物の後ろの穴を埋めます。
現時点では、Photo Wake-Upは正面を向いた人物の画像で最もよく機能し、芸術作品と実在の人物の写真の両方をアニメーション化できます。アルゴリズムは、腕が体の一部を隠している写真にも対応できますが、脚を組んでいる人や、自分の大部分を隠している人をアニメーション化することはまだできません。
「Photo Wake-Upは写真と交流する新しい方法です」とウェンは述べています。「まだすべてができるわけではありませんが、これはまだ始まりにすぎません。」
