イザベラ・スチュワート・ガードナー美術館の館内に掛けられた空の額縁は、世界最大の未解決美術品強奪事件を目に見える形で思い起こさせます。盗まれた傑作が取り戻されることはないかもしれませんが、MITコンピューター科学・人工知能研究所（CSAIL）のチームが、絵画の複製を制作するための新しいシステムで、その助けになれる可能性があります。
RePaintは3Dプリントとディープラーニングを組み合わせ、照明条件や設置場所が異なっても、お気に入りの絵画を忠実に再現します。RePaintは、自宅に飾る作品の複製を作ったり、美術館で原画の摩耗や損傷を防いだり、企業が歴史的作品のプリントやポストカードを制作したりする用途に活用できます。
「ギャラリーで見える絵画の色をそのまま再現しても、自宅では違って見えるかもしれません」と、このシステムに関する新しい論文の著者の一人、チャンギル・キムは述べます。この論文は12月に開催されるACM SIGGRAPH Asiaで発表される予定です。「私たちのシステムはどのような照明条件でも機能し、これまでのほとんどの研究をはるかに上回る色再現能力を示しています。」
RePaintを試すため、チームは共同研究者の芸術家が制作した油絵を複数再現しました。その結果、さまざまな作品の色合いを正確に作り出す点で、RePaintは最先端の物理モデルより4倍以上高い精度を示しました。
印刷に時間がかかるため、現時点で複製の大きさは名刺ほどです。将来的には、より高度な業務用3Dプリンターによって、大きな絵画も効率よく制作できるようになるとチームは見込んでいます。
絵画の複製には一般に2Dプリンターが使われますが、使用できるインクはシアン、マゼンタ、イエロー、ブラックの4色に限られています。しかし研究者たちは、ドガやダリの作品のより幅広い色域を再現する、より優れた方法を見つけました。「カラー・コントーニング」と名付けたこの特殊技術では、3Dプリンターを使い、10種類の透明インクを非常に薄い層状に重ねます。その様子は、キットカットのウエハースとチョコレートの層に似ています。さらに、連続した階調ではなく多数の小さな色の点で画像を作る、数十年前からある「ハーフトーニング」という技法を組み合わせました。この二つを合わせることで、色の微妙なニュアンスをよりよく捉えられたとチームは述べています。
扱える色域が広がると、絵画ごとにどのインクを使うかという問題が残りました。手間のかかる物理的な手法に代わり、チームはディープラーニングモデルを訓練し、異なるインクを最適に重ねる組み合わせを予測させました。システムがその方法を学習した後、絵画の画像を入力し、作品ごとにどの領域でどの色を使うべきかをモデルに判定させました。
これまでの進展にもかかわらず、「星月夜」の見事な複製を作り上げるには、まだいくつか改善が必要だとチームは述べています。たとえば、機械工学者のマイク・フォシーによると、インクの種類が限られているため、コバルトブルーなど一部の色は完全には再現できませんでした。今後はインクの種類を増やすとともに、絵画ごとに最適なインクを選ぶアルゴリズムを開発する予定だといいます。また、表面の質感や反射なども表現できるよう、再現の精細さを高め、光沢仕上げやマット仕上げといった効果を実現することも目指しています。
「近年、ファインアートの価値が急速に高まり、人目に触れない倉庫に保管される傾向が強まっています」とフォシーは述べます。「私たちはこの傾向を逆転させ、誰もが楽しめる、安価で正確な複製を作る技術を開発しています。」
キムとフォシーは、筆頭著者のリアン・シー、MIT教授のヴォイチェフ・マトゥシク、元MIT博士研究員で現在はマックス・プランク情報学研究所のグループリーダーを務めるヴァヒド・ババエイ、プリンストン大学のコンピューターサイエンス教授シモン・ルシンキエヴィチ、そして元MIT博士研究員で、現在はタイのバンコクにあるチュラーロンコーン大学の講師を務めるピチャヤ・シッティアモーンとともに、このシステムに取り組みました。
この研究は、全米科学財団の一部助成を受けています。
