AIチャットボット vs 検索エンジン：学習効果を比較した研究結果

米ジョージア工科大学やミシガン大学などに所属する研究者らが発表した論文「Learning by Chatting? Investigating the Impact of Generative AI on Information Seeking and Learning」は、AIチャットbotと検索エンジンではどちらが学習効果が高いかを検証した研究報告だ。

生成AIの普及により、調べ物のやり方は、検索エンジンを使ったキーワード検索からチャットbotへの質問へと移行しつつある。この変化が学習にどのような影響を与えるのかを調べるため、研究チームが「栄養と食事の計画」をテーマにした比較実験を行った。

参加者80人（最終35人）をChatGPTを使うグループと、従来のGoogle検索を使うグループに分けて8日間の学習を行わせた。なおGoogle検索はAIによる要約を無効化させて行った。

その結果、ChatGPTを使ったグループの方がGoogle検索を使うグループよりも学習効果が低い傾向が示された。特に、学んだ知識を応用したり、複数の情報を比較評価したりする力に差が表れた。

ChatGPTを使ったグループの学習効果が低かった背景には、生成AIならではの情報の偏りと、ユーザーの行動変化という2つの要因が関係している可能性を指摘している。

第1に、ChatGPTは基礎的な仕組みよりも完成された成果物を優先して出力する傾向がある。例えば、バランスの良い食事とは何かと調べた際、Google検索では栄養素の適切な割合やその根拠を解説する記事にたどり着きやすい。

一方、ChatGPTはいきなり具体的な献立案や買い物リストを提示してしまいがちだった。手軽に解決策が得られる半面、なぜそうなるのかという原理原則を学ぶステップが飛ばされてしまう。

第2に、対話型の画面はユーザーの視野を狭め、情報を精査する行動を減らしてしまう。ChatGPTを使うと、ユーザーは自分に合った食事は？といった狭く個人的な質問から調べ物を始めがちになる。

また、AIがきれいに要約された一つの答えを返してくれるため、自ら様々なWebサイトを見比べて情報の信頼性を確認したり、別の視点を探ったりする手間をかけなくなる。その結果、与えられた情報をそのまま受け入れるだけの受け身の学習に陥りやすくなる。

皮肉なことに、AIに検索を任せて楽になるはずが、ChatGPTを使った参加者は学習の過程でかえってフラストレーションを感じていた。自分が望む詳細度や形式で情報を引き出すために何度も質問の仕方を工夫しなければならず、自分のペースで情報をより分けながら学習を進められないことにフラストレーションを抱えていた。