フラッシュカードアプリまたはQuizBotを使って学習する36人の学生を対象にした研究で、チームは、QuizBotで扱った内容について学生が正答を25％以上多く正確に思い出し、フラッシュカードを使った場合と比べてQuizBotでの学習時間が2.6倍を超えたことを明らかにしました。
フラッシュカードアプリとQuizBotはどちらも、科学や身の安全から高度な英語語彙まで、幅広い情報を教えました。次に学生に提示する項目を選ぶ順序決定アルゴリズムは、両者で同一でした。
スタンフォード大学のコンピューターサイエンス助教で、この研究論文の共著者でもあるエマ・ブランスキルによると、学習時間が長くなることはQuizBotがはるかに高い効果を発揮する重要な理由の一つです。論文に掲載される予定のコンピューティングシステムにおけるヒューマンファクターに関するSIGCHI会議論文集チームはスコットランドのグラスゴーで開催されたCHI 2019で研究結果を発表しました。
「QuizBotはより会話的で、より楽しいものです。学生たちは、本当の学習パートナーがいるように感じていました」と、研究を主導した大学院生のシェリー・ルアンは話します。
チャットボットは、コンピュータープログラムがテキストメッセージを通じて人間とやり取りする人工知能の一分野です。教室よりも、カスタマーサービスや電子商取引の用途で広く使われています。オンラインでの購入を検討しているときにカスタマーサービス担当者とチャットしたことがあれば、チャットボットを利用した可能性があります。
QuizBotは、チャットボットの仕組みに新しい工夫を加えたものです。教師のように、テキストで事実に関する質問を提示します。学生は答えを入力し、確認の質問をしたり、ヒントを求めたりします。QuizBotはその内容を理解して、まるで向こう側に人間がいるかのように会話形式で応答します。フラッシュカードとは異なり、チャットボットは惜しい間違いの答えを認識し、追加の指導や励ましを学生に提供できます。
このような教育システムを設計する際の課題の一つは、コンピューターがさまざまな表現の正答を認識できなければならないことです。学生全員が同じ言葉や構文で答えるわけではありません。もちろん、タイプミスが起きる可能性も常にあります。そこで人工知能が役立ちます。
QuizBotの採点精度を検証するため、チームは研究で得られた会話ログから無作為に11,000件を選びました。その結果、QuizBotの正答率は96.5％で、出題した144問のうち誤判定はわずか5件でした。そのうち1件はタイプミス（「true」の代わりに「ture」）で、3件はアルゴリズムが短すぎるものの正しい回答を減点したために起きました。言葉を誤って解釈したことによる誤りは1件だけでした。
研究者たちは、QuizBotが、インフォーマルな学習におけるフラッシュカード後の時代の幕開けになる可能性があると考えています。「チャットボット全般には大きな期待が寄せられていると思いますが、教育現場ではまだ広く使われていません」と話すブランスキルは、Artificial Intelligence for Human Impact Labの所長も務めています。「しかし、それは変わるはずです。」
スタンフォード大学、コルビー大学、中国の清華大学の研究者も研究に協力しました。TAL Education Groupがこの研究に資金を提供しました。
