次の査読は……ロボットが行うのだろうか?

A Universal Robots employee demonstrates how a model of their industrial robot arms works in Singapore March 3, 2017. Picture taken March 3, 2017. REUTERS/Edgar Su - RTS14950
Could AI eliminate the shortcomings of human peer-to-peer reviews?Image: REUTERS/Edgar Su
このページは、生成AIにより自動翻訳されています。

査読は科学出版に不可欠なプロセスです。

査読とは、特定の分野の専門家が、同じ分野の研究者による研究成果を評価するプロセスです。

査読は、科学的正確性、主張と研究手法の信頼性を確保し、基準を維持するとともに、論文原稿の質を高めるために確立されました。

査読のもう一つの重要な役割は、論文原稿が投稿先の学術誌に適しているかを確かめ、今後の研究に向けた新たな道筋を見いだすことです。

初期の査読は、科学者同士の親しい対面でのやり取りや、郵便による意見交換という形をとっていました。やがて、科学的知識を評価する公式かつ厳格なプロセスへと発展しました。

残念ながら、査読は多くの科学者にとって悪夢にもなりました。

査読をめぐる報復

科学研究を適切に管理するうえで査読の役割が間違いなく重要である一方、そのプロセス自体が論争の的になっています。

査読者には、研究を精査し、長所と弱点をすべて示したうえで、偏りのない質の高いフィードバックを編集者に提供し、改善案を提示することが期待されます。

しかし今日では、査読プロセスは大きく政治的な影響を受けるようになっています。

査読者は編集者が選び、その身元を知るのは編集者だけです。一方、ほとんどの場合、著者の身元は査読者に知られています。

仕事上のライバルや競争相手が査読者だったら、何が起こり得るか想像してみてください。

査読者の身元が明かされないため、何の責任も問われずに研究成果の信用を損なおうとする傾向があります。

嫉妬

嫉妬は査読プロセスを損なう大きな要因です。多くの査読者は、自分の専門分野で斬新かつ大きな影響をもたらし得るアイデアを提案する同僚に嫉妬し、そうした論文原稿を退ける理由をしばしば見つけ出します。

過去には、査読者が論文原稿を退けた後、そのアイデアを自ら追究し、自分の成果として発表したことが確認された事例もあります。

残念ながら、編集者は著者より査読者を優遇する傾向があります。

科学分野は非常に広範になっており、ある分野の専門家であっても、研究論文を適切に評価するための知識や専門性が十分でない場合があります。

科学者は多忙な傾向があり、査読プロセスには時間と知識の両面で大きな負担が伴います。そのため、査読の質に疑問が生じる場合があります。

査読に関する問題を解決するため、さまざまな試みが行われてきました。査読者と著者の双方の身元を編集者だけが知る二重盲検査読や、偏りをなくすために少なくとも2~3人の独立した査読者を導入する方法などがあります。こうした取り組みによってプロセスは改善しましたが、科学的な査読に伴う課題がすべて解消されたわけではありません。

権威ある科学誌『Nature』の最近の研究は、科学的再現性をめぐる深刻な危機を示しており、その原因は不十分な査読に関連している可能性があります。

「Nature」の調査によると、回答者の70%超が、同僚の作成した科学データを再現できなかったとし、半数以上が自分自身の実験の再現にも失敗したと答えています。

査読における人工知能

数か月前、私はIBM Watsonという、IBMが開発した人工知能(AI)の力と能力に触れる機会がありました。

ロンドンで開催された、グローバル・シェイパーズ主催の政策ハッカソンで、政治家の講演を収めたYouTube動画を視聴できる、IBM Watsonを基盤とするシステムをチームが実演しました。

このシステムは政治家の話し方や身ぶりを分析し、さらにインターネットを検索して、政治家の主張や議論の文脈に関連する情報を集め、話者が真実を語っているかどうかを判定しました。

この試作品は、わずか丸2日間で開発されました!

では、人工知能による査読者を導入すれば、同様のシステムが科学的知識に、より高い客観性と優れたガバナンスをもたらせるでしょうか?

はい、可能だと思います。

人工知能による査読プロセスは、より高い客観性と幅広い専門知識(過去の研究を参照・比較することで)を取り入れ、査読全体にかかる時間(場合によっては2か月、あるいはそれ以上に及ぶこともあります)をほぼ瞬時にまで短縮することで、現在の査読プロセスを悩ませるあらゆる問題を解消できます。

必要なデータはすべて、過去に発表された研究をデータマイニングすることで得られるでしょう。

こう考えているのではないでしょうか。過去のデータが間違っていたらどうなるのか、と。

その問題も、AI査読者が「逆査読」を行い、過去に発表された研究の正確性と正当性を評価すれば解決できるでしょう。

AIを活用した査読システムの仕組みの可能性

査読の未来は人工知能にあるのでしょうか?

しかし、既存データの信頼性だけが、AI査読によって生じる問題ではありません。

説明責任の問題もあります。誤った結果に対して、誰が責任を負うのでしょうか?

あるいは、AIが妨害工作を受けたらどうなるでしょうか。一般の人々がマイクロソフトのAIチャットボット、Tayに何をしたか、私たちは目にしてきました。

人工知能による査読者の学習用データセットとして正当なものを提供できるほど、科学的知識は正確なのでしょうか。Natureの研究を信じるなら、答えはノーです。

人間の要素を完全になくすべきでしょうか。それとも、AI査読を意思決定プロセスにおける補助的または予備的な情報源として扱うべきでしょうか?

こうした疑問やその他の問いについて、深く考える必要があります。

さらに、AI査読が実際に使われるようになる前に、解決すべき法的問題が数多くあります。

AIは査読システムの現在の問題をすべて解決できる一方で、プロセスに新たな課題をもたらす可能性もあります。

すぐに思い浮かぶもう一つの疑問は、AIが論文を査読できるなら、いつから論文を書き始めるのか、ということです。

こうした問題に十分な答えが見つかれば、次世代の査読者はシリコンでできているかもしれません。

ライセンスと再掲載について
世界経済フォーラムの寄稿文は、クリエイティブ・コモンズ表示-非営利-改変禁止 4.0 国際ライセンスおよび同フォーラムの利用規約に従い、再掲載が可能です。