気候活動家の二人組を描く新作映画は、機械学習技術を用いて、視聴者の感情的な反応に合わせて物語を適応させます。
コンピューターのカメラとソフトウェアを用いることで、この映画は、観客が気候災害の映像を見ている様子や、暗に難しい問いを投げかけられている様子を、実質的に観察します。
本記事では、監督が自身の物語へのアプローチと、映画制作者の道具箱を広げる手段としてのインタラクティブ技術に対する見解を語ります。
ほとんどの映画は、まったく同じ鑑賞体験を提供します。席に着くと映画が始まり、筋書きが展開し、物語が終わるまで画面上で起きていることを追いかけます。それは一方向的な体験です。私の新作映画『Before We Disappear』は、地球温暖化を引き起こした企業への復讐を求める気候活動家の二人組を描いた作品で、その鑑賞体験を変えようとしています。
私の映画が異なるのは、観客の感情的な反応に合わせて物語を適応させる点です。コンピューターのカメラとソフトウェアを用いることで、この映画は、観客が気候災害の映像を見ている様子を実質的に観察します。観客は、暗黙のうちにどちらかの立場を選ぶよう求められます。
私はこの技術を用いて気候危機を題材にした映画を制作し、人々に、存続可能な未来のために何を犠牲にする覚悟があるのかを、真剣に考えてもらうことにしました。
ストーリーテリングは常に双方向的なものでした。伝統的な口承の語り手は、聞き手と相互にやり取りし、その反応に応じてきました。ほぼ1世紀にわたり、映画監督たちは双方向性を試行してきました。この10年間で、インタラクティブなコンテンツは爆発的に増えました。
ストリーミングサービスは、視聴者が自分だけの冒険を選ぶ機会を提供しています。しかし、視聴者に展開を操作させることは、長らく課題となってきました。それは、物語への没入と相反するためです。没入とは、視聴者が物語によって作り出された世界に引き込まれる状態を指します。
インタラクティブ映画における近年の最も著名な実験の一つであるNetflixの『バンダースナッチ』は、このことを明確に示しています。ここでは、物語が止まり、次にどうするかを利用者に尋ねます。それによって物語の流れが途切れ、視聴者は積極的に作品に関与することになります。没入体験を損なうこの問題を解決することは、インタラクティブ映画を探求する芸術家にとって依然として重要な課題です。
私が制作・監督する映画は別の道をとります。観客が映画を見ている間、無意識のコントロールを活用して映画に影響を与えるのです。私の以前の脳制御の映画『The Moment（2018）』および『The Disadvantages of Time Travel（2014）』では、脳コンピューター・インターフェース（BCI）を用いました。これらのシステムは、コンピューターを使って脳からの電気信号を分析し、人が思考によって機器を効果的に操作できるようにするものです。
この脳からのデータを用いて、観客は無意識の編集を行い、映画をリアルタイムで編集します。これにより、それぞれの映画が描くSF的ディストピアと、さまよい夢想する心という物語が強化されます。
ただし、BCIインターフェースには専用の機材が必要です。『Before We Disappear』では、観客がより手軽に利用でき、インターネットを通じて映画を共有できる技術を使いたいと考えました。
物語をコントロールする
『Before We Disappear』では、一般的なコンピューターのカメラを使って感情的な手がかりを読み取り、映画のリアルタイム編集を指示します。これを実現するには、人々が映画にどう反応するかを十分に理解する必要がありました。
私たちは複数の研究 を実施し、探求した感情は映画制作者が喚起しようとする感情と、視聴者が映画を見ている際に感情をどのように視覚的に表すかです。パートナーのBlueSkeye AIによるコンピュータービジョンと機械学習の技術を用いて、映画の抜粋に対する視聴者の表情や反応を分析し、そのデータを物語の制御に活用するアルゴリズムをいくつか開発しました。
観客は映画を見ている間に感情を大きく表に出さない傾向がある一方で、BlueSkeyeの表情・感情分析ツールは、映画を視聴者の反応に適応させるのに十分な、わずかな変化や感情的な手がかりを捉えられるほど高感度です。
分析ソフトウェアは、表情筋の動きと感情の覚醒の強さ、すなわちある特定の瞬間に視聴者がどれほど感情的になっているかを測定します。また、このソフトウェアは感情のポジティブさやネガティブさも評価します。これを私たちは「バレンス」と呼んでいます。
私たちは、この覚醒度とバレンスのデータがリアルタイムの編集判断に寄与し、物語が自ら再構成されるようなさまざまなアルゴリズムを試験しています。最初の場面が基準となり、次の場面はそれと比較して測定されます。反応に応じて、物語は約500通りの可能な編集のいずれかになります。『Before We Disappear』では、観客に異なる結末と感情の旅路を提供する非線形の物語を用いています。
感情の旅路
私は、インタラクティブ技術を、物語をさらに語り、映画が個々の視聴者に適応できるようにすることで、映画制作者の道具箱を広げ、監督の権力に挑戦し、それを分散させる手段と捉えています。
世界経済フォーラムは、人工知能の倫理的な開発をどのように確保していますか？
しかし、感情的な反応は悪用されたり、予期せぬ結果を招いたりする可能性があります。利用者から好ましい感情を引き出すコンテンツだけを表示するオンラインシステムを想像するのは難しくありません。これは、人々が既に持っている好みに合うコンテンツだけを目にする「エコーチェンバー」を作り出すために使われる可能性があります。
あるいは、プロパガンダに使われる可能性もあります。ケンブリッジ・アナリティカのスキャンダルでは、大量の個人情報がFacebookから収集され、政治広告に利用されたことが明らかになりました。
私たちの研究は、利用者の感情データを、十分な情報に基づく同意のもとで責任を持って利用する方法について議論を喚起することを目指しています。同時に、利用者が自身の個人情報を管理できるようにすることも目指しています。私たちのシステムでは、データは、例えばクラウドではなく、利用者のデバイス上で分析されます。
大企業には大きな責任が伴う
無意識的なインタラクションは巨大なビジネスです。TikTokなどのTikTokやYouTubeは、プラットフォーム上での利用者の過去の操作を分析し、そこで表示される新しいコンテンツに影響を与えています。利用者は、どのような個人情報が作成または保存されているかを必ずしも認識しておらず、また、アルゴリズムが次に何を提示するかに影響を与えることもできません。
観客のデータが保存されないシステムを構築することが重要です。視聴者の映像や表情データは、再生デバイス以外のいかなる場所にもアップロードされたり分析されたりすべきではありません。私たちは、利用者データが悪用される可能性への認識を組み込み、映画の視聴に用いられるデバイス上の個人データを保護するインタラクティブアプリとして、この映画を公開する予定です。
適応型映画は、従来の「選べる冒険」型のストーリーテリングに代わる選択肢を提供します。意図的なインタラクションではなく、観客の無意識の反応に基づいて物語が変化できるとき、観客の注意は物語に留め続けられます。
これにより、観客は映画をよりパーソナライズされた体験として楽しむことができます。結局のところ、ストーリーテリングの古い伝統は、21世紀の私たちにもなお多くを教えてくれるのかもしれません。
