大規模言語モデルは創造性を均質化させるか？人間とChatGPTの執筆を比較した研究

米ジョージタウン大学に所属する研究者らが国際学術誌Computers in Human Behavior: Artificial Humansに発表した論文「Homogenizing effect of large language models (LLMs) on creative diversity: An empirical comparison of human and ChatGPT writing」は、人間たちが生み出すアイデアと生成AIが出力するアイデアのどちらが多様で創造的であるかを検証した研究報告だ。

大規模言語モデル（LLM）は、個人の文章作成やアイデア出しをサポートするツールとして広く普及している。しかしその一方で、多くの人が同じAIを利用し続けることで、社会全体からアイデアの多様性が失われ、似たり寄ったりの内容ばかりになってしまう均質化の危険性が指摘されている。

この問題を検証するため、研究チームは人間が書いた大学入学エッセイと「GPT-4」が執筆したエッセイ計2200件を比較する実証実験を行った。この研究では、エッセイが1件追加されるごとに新しいアイデアがどれだけ集団全体に追加されるかを示す「多様性成長率」という独自の基準を用いて評価が行われた。

まずエッセイ1件ごとの多様性を見た場合、基本設定のままでは、AIが書いたエッセイの多様性は人間より低かった。しかし出力の創造性を高めるようパラメーターを調整すると、AIが書いたエッセイの多様性は人間を上回るようになった。

ところが、複数のエッセイを集めて全体としてのアイデアの豊富さを比較すると、人間の集団は基本設定のAIに対して約2倍から最大で約8倍高い多様性成長率を示した。つまり、個人レベルで比較するとAIの出力に頼ったほうが創造的になる場合があるが、集団レベルになると結果は逆転し、自力で書く学生たちが多様なアイデアを生み出すという。

次の調査では、AIに順序立てて深く考えさせる高度な指示（Chain-of-Thought）を与えて検証を行った。これによりAIの生み出す集団レベルの多様性は基本設定の4倍以上に向上したものの、それでも人間のエッセイはAIに対して約2倍もの多様性成長率を維持していた。どんなにAIへの指示や設定に工夫を凝らしても、人間の集団が持つアイデアの豊富さには及ばなかった。

なぜAIは似たようなアイデアになりがちなのかというと、AIは過去の膨大なデータから次に続く確率が最も高い自然な言葉を予測して文章を作成しているからだという。

加えて、問題のある不適切な発言を避けるための安全対策（人間のフィードバックによる強化学習）が施されているため、どうしても予測可能で平均的な、いわゆる無難で優等生だが尖ったところのない文章になりやすいとの見方を示している。ただし、LLMの進化によってアイデアが均質化しにくくなる可能性もあり、モデルによる影響を継続的に定量評価する必要があるという。