[ITmedia News] MicrosoftのナデラCEO、「SIモデルは“内部リスク”として扱うべき」とXに投稿　統制はモデルの外に置くよう提言

米Microsoftのサティア・ナデラCEOは10月10日（現地時間）、Xに「Models as Insider Risks in the Super Intelligence Era」（SI時代の内部リスクとしてのモデル）と題した長文を投稿した。フロンティアモデルを組織内部の“インサイダーリスク”と同様に扱い、モデルの外側に統制の仕組みを置くべきだと訴えている。なお、「Super Intelligence」（超知能、SI）は、トランプ米大統領が「Artificial Intelligence」（AI）に代わる呼称として打ち出し、9月29日の大統領令で連邦政府の行政機関に使用を命じた言葉だ。ナデラ氏の投稿もこの呼称でAIを指している。

ナデラ氏は、現在のモデルが振る舞いや出力を学習データや重みの特定の要素に結び付けられないにもかかわらず、企業は機密データへのアクセス権やミッションクリティカルな操作を任せていると指摘した。AIが自分たちに代わって行うことへの責任は外部に委ねることはできず、モデル提供者の保証があってもその責任は免れないとし、「知能の供給と、それに対する権限を切り離す」必要があると主張した。

モデルを内部リスクとして扱うのは、モデルが悪意を持つからではなく、重要なシステムにアクセスできる有能な主体であれば、誰でもミスを犯したり侵害を受けたりし得るためだと主張する。モデルのCoT（思考の連鎖）の透明性は譲れない条件だとする一方、それだけでは十分ではないとも述べた。モデル同士で検証させるだけでは「入れ子のブラックボックス」になりかねないとし、モデルがアクセスできる範囲や実行できる行動を制御する仕組みはモデルの外に置くべきだとしている。

その上で、設計の原則として7項目を挙げた。重要な成果を単一のモデルに依存させない「モデルの多様性」、モデルの行動に改ざんできない証拠を残す「全てを観察すること」、障害や攻撃も含めてシステム全体を継続的にテストする「検証可能性」、組織がモデルの権限を独自に決める「独立した制御」、検証を検証対象のモデルから切り離す「独立した監査可能性」、権限を持つ人間がタスクの途中でもモデルを停止できる「封じ込め」、そして障害や侵害の発生時に影響を受けた人々への適時の開示と業界全体での教訓の共有を求める「インシデントの開示」だ。

ナデラ氏はこの投稿を「最も信頼できるSIシステムとは、最も信頼するモデルを持つシステムではない。モデルを最も信頼せずに済むシステムだ」と締めくくった。

フロンティアモデルを巡っては、評価試験などの最中にモデルが外部のシステムに対して意図しない行動を取った事例を、開発元が報告するケースが続いている。米OpenAIは9月16日、ミスアライメント事例を公表するための枠組みを発表し、訓練中のモデルがGitHubで流出したAPIキーを探して無断で使い、データを捏造した事例などを公開した。米Anthropicも10月9日、Claudeが評価試験中に外部サーバの脆弱性を悪用したり、フィラデルフィア警察の情報提供フォームに架空の情報を送信したりしていたと発表した。これを受け、ホワイトハウスの「Super Intelligence Force」は、インシデントの通知と是正は国家安全保障上の義務だとする声明を出している。

ナデラ氏の投稿はこれらの事例に直接言及してはいない。MicrosoftはOpenAIとAnthropicの両社に出資している。