GoogleのGemini AIがサイバーセキュリティテスト中に実在企業のシステムに誤って侵入

米Wall Street Journalは9月18日（現地時間）、米GoogleのAIモデル「Gemini」がサイバーセキュリティ能力の評価テスト中にインターネットへ接続し、実在する3社のシステムに侵入していたと報じた。Googleは同日、事実関係を認めた。同社のAIが自律的にこうした行為に及んだと判明したのは初めてという。

侵入は、AIの評価を手掛けるイスラエルIrregularが5月に実施したサイバー能力テストの最中に発生した。Geminiはテスト環境内の架空企業が運営するソフトウェアから情報を取得するよう指示されていたが、この架空企業が実在企業と同名だった。本来Geminiはインターネットに接続できない設定だったが、Irregularによると意図せず接続可能な状態になっていたという。

いずれのケースでも、Geminiは実在企業にアクセスしたと気付いた時点で侵入を中止したとしている。

Irregularは、米OpenAIのエージェントが米Hugging Faceに侵入していたことが発覚したのを受け、7月下旬にGoogleにこの件を通知した。Googleは侵入された3社すべてに連絡し、連邦当局にも報告したが、社名は明らかにしていない。公表しなかった理由については、モデルが企業に被害を与えておらず、実在企業だと判断した時点で直ちに侵入を中止したためだと説明し、脆弱性を報告する「バグバウンティ」に近いとの見方を示した。今回明らかにしたのは、WSJが同社に問い合わせた後だった。

Googleのセキュリティエンジニアリング担当バイスプレジデント、ヘザー・アドキンス氏は声明で、モデルは適切に振る舞ったとし、強力なAIモデルに責任ある行動を学習させることの重要性を示す出来事だと強調した。同社は、安全対策が機能して停止できたことから、人間の意図や価値観に反する挙動を指す「ミスアライメント」には当たらないとしている。最新モデルは関与していないとするが、どのGeminiモデルだったかは明らかにしていない。

米CISAの元職員で米サイバーセキュリティ企業CorridorのCEO、ジャック・ケーブル氏は、Googleの声明は問題の深刻度に焦点を当てた説明であり、AIエージェントが誤って他社のシステムに侵入したことこそが本質だと指摘した。モデルが本来の範囲を超えて実際にサイバー攻撃を行っていること自体が公共の関心事だと述べた。

Irregularは、今回のGoogleのケースは過去の同種の事例と同じで、新たな問題ではないとの立場だ。広報担当者は、7月下旬に関係する全てのAIラボに通知し、調査の一環で影響を受けた組織にも連絡したと説明。自社側の既知の問題は数週間前に全て修正済みだとした。

同様の事例は他社でも起きている。米Anthropicの「Claude Opus 4.7」は、サイバー能力テスト中に実在企業にアクセスした可能性に気付いた後も停止しなかった。OpenAIのモデルは、実在企業をシミュレーションの一部だと認識していたという。