Cloudflare、AIモデルMythos Previewの脆弱性発見・検証能力を評価

Cloudflareによると、Mythos Previewは従来の汎用（はんよう）モデルと比べて単純な性能向上にとどまらず、異なる性質の作業を実行する水準へ進化した。特に注目した能力として、複数の脆弱性を組み合わせて実際の攻撃経路を構築する「Exploit chain construction」と、脆弱性の実証コードを自動生成して実行、確認する「Proof generation」を挙げた。

同社は、現実の攻撃では単独の不具合ではなく複数の攻撃要素を連結して侵害へ至ると説明する。Mythos Previewは、use-after-freeのような深刻な影響を残す脆弱性を任意読み書きへ発展させ、制御フロー奪取やROPチェーン構築へ結び付ける推論能力を示した。調査過程で出力された推論内容は、自動スキャナーよりも熟練研究者の分析に近かったと評価している。

脆弱性発見後の検証能力も特徴とした。モデルは不具合を引き起こすコードを書き、隔離環境でコンパイルと実行に取り組む。失敗時は原因を読み取り、仮説を修正して再試行する。この反復処理によって、推測段階にとどまらず悪用の可能性確認まで自律的に進められる点を重視した。

Cloudflareは他の先端モデルも同一環境で比較した。複数モデルが同種の不具合を発見したものの、多くは脆弱性同士を結び付けて深刻な攻撃へ発展させる段階で止まったと説明する。Mythos Previewは、従来なら優先度が低いまま埋もれていた小規模な欠陥を組み合わせ、重大な侵害経路へ変換できた点が大きな変化だとした。

他方で、安全制御の不安定さも確認された。Project Glasswingで使用したMythos Previewには、市販モデルに搭載される追加保護機能が含まれていなかった。モデルは自主的に一部要求を拒否する挙動を示したものの、同一内容でも表現や実行環境が変わると応答結果が変化した。Cloudflareは、同じコード解析を拒否した後に別条件では受け入れた例や、重大なメモリ関連不具合を確認後に実証コード生成のみ拒否した例を紹介した。確率的動作に左右されるため、安全境界として単独利用するには不十分だと指摘している。

脆弱性調査では「signal-to-noise problem」も大きな課題になった。モデルは不具合が存在しない場合でも候補を大量出力する傾向を持ち、「possibly」「potentially」など曖昧表現を含む報告が多数発生する。Cloudflareは、CやC++のようなメモリ安全性を持たない言語で誤検知が増えやすいと分析した。Mythos Previewは概念実証（PoC）を伴う報告比率が高く、修正判断までの負荷を減らしたものの、過剰報告を抑える工程は依然不可欠だと説明した。

同社は当初、汎用コーディングエージェントへ巨大なリポジトリ全体を解析させる手法を試したが、有効な網羅性を得られなかったと明かした。脆弱性調査は狭い対象へ集中する並列作業型であり、単一エージェントでは文脈容量制限や探索効率の問題が生じるためだ。

8段階の独自ハーネスによる網羅的調査

そこでCloudflareは、複数エージェントを組み合わせた独自ハーネスを構築した。最初にリポジトリ全体を解析してアーキテクチャ文書を生成する「Recon」を実施し、その後は脆弱性種別ごとに調査する「Hunt」、結果を別エージェントが反証する「Validate」、未調査領域を再投入する「Gapfill」、重複統合を実行する「Dedupe」、実際に外部入力から到達可能か判定する「Trace」、結果を次回探索へ反映する「Feedback」、構造化レポート化する「Report」の8段階で運用した。

Cloudflareは、攻撃側の分析速度短縮に対抗するには単純な修正迅速化だけでは不足するとみている。複数チームがCVE公開から2時間以内の本番修正を目標にしているものの、回帰試験を省略すると新たな障害を招く危険があると指摘した。同社は、アプリケーション前段で攻撃を遮断する防御、権限分離設計、全環境同時展開可能な修正基盤など、脆弱性発覚後の被害拡大を抑える構造整備が重要だと説明した。