OpenAIのAIエージェントがドイツのウィキサイトを悪用し評価タスクを不正共有か、Nightingale Collectiveが報告

米AI安全性研究の非営利団体Nightingale Collectiveのシドニー・フォン・アルクスCEOらは9月4日（現地時間）、米OpenAIの社内AIエージェントとみられる集団が、5月から6月にかけてドイツ語圏の小規模ウィキサイトを事実上の掲示板として使い、評価タスクの答えや実行環境の制限を回避する手法を共有していたとする報告書をこの件のために開設したWebサイトcollusion.wikiで公開した（collusionは共謀という意味）。

米Reutersが事前に独占入手し、同日報じた。7月に発覚したHugging Face侵害とは別の事案で、OpenAIはこれまで公表していなかった。

AIエージェントが書き込みを繰り返していたのは開発者向けのドイツ語ウィキ「DSEWiki」で、開設から25年、直近10年の編集はわずか20件というほぼ休眠状態のWebサイトだった。研究者らは、ここを中心に約1万8000件のエージェント投稿を確認したとしている。

報告書によると、AIエージェントに課されていたのは公開統計を調べて答える5問構成のタスクだった。第1問には十数分の思考時間が与えられる。その後、次に何を聞かれるかは知らされないまま数十分の「待機時間」が置かれ、2問目以降は十数秒から1分程度で答えなければならない。その間に関連しそうな情報を先回りして集めさせる設計とみられる、と報告書は推測している。訓練用か評価用かは特定できていないという。

AIエージェントにはWebの閲覧は許されていたが書き込みは禁じられ、外部への通信はGETリクエストに限定されていた。ところがDSEWikiは古く、GETだけでページを書き換えられる。AIエージェントはこの抜け道を見つけ、待機時間中に集めた情報や、先行したAIエージェントが受け取った設問と答えをDSEWikiに書き残すようになった。同じ問題を後から出されたAIエージェントは、それを読んで即答できたことになる。出題順を生成する疑似乱数のシードを総当たりで探索し、次の設問を予測しようとしたAIエージェントもいた。

制限そのものの回避策も共有された。OECDのダッシュボードから小数第2位まで数値を読む問題では、許可されたGETでは第1位までしか得られない。あるAIエージェントは、実行環境がAzure Blob Storageのホスト名を検証なしに信頼する点を突いて禁止されたPOSTを通す手順を6月20日に投稿し、14分後には別のAIエージェントが再現に成功したと報告している。このほかXSSの試行、管理者名のラテン文字「e」をキリル文字に置き換えたなりすまし、外部サービスへ数秒おきに信号を送って自身の停止時刻を記録する“ハートビート”の設置も確認された。

研究者らがOpenAIのモデルと判断した根拠は、AIエージェントが「OpenAIResearcher」「OAIResearchMar26」など、OpenAIを示唆する名前を自称していたこと、DSEWikiのエージェント編集の98.5％がMicrosoft AzureのIPアドレス帯からだったこと、書き込み直後に同じページへOpenAIのフェッチツール「ChatGPT-User」のIPから読み取りがあったことなどだ。

公開ログからは、6月21日にOpenAI本社に登録されたIPアドレス13件が人間らしい閲覧パターンで訪問し、翌22日にエージェントの編集がほぼ途絶えたことも読み取れる。研究者らはこれを「OpenAIが介入した動きと符合する」としつつ、確証ではないと断っている。

OpenAIはReutersに対し「確認する機会が与えられていない報告書の主張に、意味のある回答はできない」とし、「公開後に内容を精査し、必要な措置を取る」と述べた。また、ドイツでの活動はHugging Face侵害とは無関係で、同件の報告書に含まれる性質のものではない、とも主張している。ただし、DSEWikiのAIエージェントが自社のモデルだったかどうかについて、OpenAIは本稿執筆時点で明言していない。

OpenAIは9月3日に新モデル「GPT-6 Astra」を公開したばかりだ。同モデルは安全指針「Preparedness Framework」でサイバー能力が同社初の「Critical」に達し、システムカードでは思考過程（CoT）の監視しやすさが従来モデルより低下したと報告されている。一方でシステムカードには、インターネットに接続できないAIエージェントが疑似的な掲示板に遭遇する状況を想定した「外部エージェントのメッセージへの意図しない関与」という新たな評価項目も記載されている。