OpenAIのAIモデル、未知の脆弱性を悪用しHugging Faceサーバーに侵入

OpenAIは、モデルが狭い試験目標の達成に過度に集中した結果、極端な手段を選択したとの暫定的な判断を示した。同社は本件を、最先端のサイバー能力が関わる前例のない事案と位置付けており、Hugging Faceとの調査完了後に、脆弱性や詳細な経緯、得られた教訓を公表する方針だ。

今回の暫定知見の共有は、防御担当者が現行モデルの実力と潜在リスクを正確に把握できるようにすることを目的としている。また、今後サイバー能力の高いモデルが普及するにつれ、同様の事案が増加する可能性があるとの見解も示した。

この評価は、高度な攻撃経路を使う課題を与え、モデルの上限能力を測定することを目的としていた。評価時には本番用の分類器を使用せず、外部接続も社内ホスト型のパッケージ用プロキシ兼キャッシュを経由する範囲に限定していた。しかし、モデルは公開インターネットへの経路を探すため多量の推論計算を実行。その過程でキャッシュプロキシの未知の脆弱性を発見、悪用し、研究用環境で権限昇格と横移動（ラテラルムーブメント）を繰り返して、最終的に外部接続を持つノードに到達した。

7月28日の更新において、この時に悪用されたサードパーティー製のキャッシュプロキシが「Artifactory」であったことが公表された。このゼロデイ脆弱性は、レビューの一環でモデルが特定したArtifactoryの他の脆弱性と併せて、既に開発ベンダーに開示されている。

外部接続を確立した後、モデルはHugging FaceがExploitGymのモデルやデータセット、解答を保管している可能性を推定した。評価で利用できる秘密情報を探索する中で、盗まれた認証情報や未知の脆弱性を含む複数の攻撃経路を連鎖させ、最終的にHugging Faceのサーバで遠隔コード実行に至る道筋を発見した。

外部サービスへの到達状況と被害の広がり

さらに調査が進む中で、モデルが他の公開サービス上において、外部に露出していたアカウントの認証情報を特定し、使用した事例が少数確認された。

具体的には、Hugging Faceのインシデントに関連して4つのサービス上の4つのアカウントにアクセスされていた。そのうち一つのアカウントはアウトバウンドリレーおよびステージング経路として使用され、別の一つはデータ保存に使用された。

残りの2つのアカウントにはモデルが読み取り専用でアクセスしたが、Hugging Faceへの侵害を進めるためには使用されなかった。OpenAIは対象サービスのプロバイダーに直接通知を進めており、現時点でこれらのサービスや他のアカウントに影響が広がった証拠は確認されていない。また、コード共有サイトやリクエストキャプチャー、スクリーンショットなどの一般サービスも使用されたが、これらについてはプラットフォームやアカウントレベルの侵害は発生していない。

両社による封じ込めと、今後のAI安全対策

この異常はOpenAIのセキュリティチームが把握したが、Hugging Face側のチームとエージェントも自力で活動を検知して停止させており、OpenAIとの連携前から独自に封じ込めとフォレンジック再構築を開始していた。

OpenAIは、問題の修正が完了するまで研究速度を抑制し、基盤構成に対して厳格な管理策を既に導入している。導入された管理策とその影響については、安全・セキュリティ委員会へ定期的に報告を行っている。また、Hugging Faceとのフォレンジック調査を継続するとともに、社内ホスト型ソフトウェアで発見された未知の脆弱性（Artifactoryのゼロデイ脆弱性など）に関しては、既に責任ある開示をベンダーに完了し、現在は修正作業に向けて協力している。さらに、Hugging Faceを「Trusted Access for Cyber」プログラムに正式に迎え入れ、同社のチームが防御強化のためにOpenAIのモデルの能力を迅速に活用できるよう支援している。

今後は学習および評価プロセスにおける保護策を刷新し、アラインメント、評価時のサイバー防護、社内試験中の監視体制を強化する。OpenAIは、モデルの能力向上に安全策の整備が遅れない体制づくりが不可欠であると結論付けた。なお、英AI安全研究所（UK AISI）による評価では、GPT-5.6 Solなどのモデルが長時間に及ぶ複雑な多段階作戦を継続実行する能力を備えつつあることが示されている。

OpenAIは、高度なモデルであればソースコードがなくとも新たな攻撃経路を発見し悪用し得ると説明。その一方で、防御側が攻撃者よりも早く弱点を特定し、脆弱性の連鎖を把握して機械的なスピードで修復するツールとしてモデルを活用する構想も示した。同社は今後、封じ込めや監視、アクセス制御、評価手法を一段と強化し、そこから得られた知見や実務的ノウハウを共有していく方針だ。

Hugging Faceの共同創業者兼CEOであるクレム・デラング氏は、AIの安全性向上は一企業の非公開な取り組みだけでは達成できず、透明性と協力、そして広範な防御側へのAI利用機会の提供が必要不可欠であるとの認識を示した。