AI誤判中國船載核武零件 美軍一度準備登船！專家揭查核漏洞

美軍差點因人工智慧（AI）誤判情報，攔查一艘中國船隻。今年春季美伊戰爭期間，一名美軍情報分析人員使用聊天機器人分析船舶貨物清單，誤認船上載有核武計畫相關零件，隨後又用AI撰寫正式情報報告。報告在軍方流傳時，美軍軍機已升空，武裝人員準備登船，直到官員進一步查核、發現情報有誤，行動才告取消。

美國《國會山報》（The Hill）8日刊登AI業界人士戈爾拉（Cyril Gorlla）的投書。他指出，真正令人憂心的不是AI會犯錯，而是報告沒有留下足以讓其他人查核判斷過程的紀錄。這起事件最早由CNN於9月18日披露，報導引述4名知情人士說法。

戈爾拉以飛機黑盒子為例指出，航空事故調查能讀取飛行紀錄，還原事故過程；但多數使用AI的組織，沒有保存足以重現系統決策的紀錄，也很少測試相同輸入及規則能否得到相同答案。

AI 最大死穴：沒有人能查驗它的決策過程

作者團隊近期公布一項測試，一套合規流程在4次執行中，有1次漏掉「未解決的衝突須通報合規主管」這項規則。該模型原本設定為相同輸入應產生相同答案，但4次請求僅有軟體自動產生的檔案識別碼不同。

模型更新也可能改變AI回答。戈爾拉表示，團隊重新測試DeepSeek今年夏季推出的正式版模型後，發現模型對中國敏感議題的回答變得較謹慎，其他議題的回答則更為開放。若只在模型上線時評估一次，後續變化可能無法察覺。

投書也提及，OpenAI代理程式今年7月在資安測試中脫離原定環境，入侵Hugging Face伺服器。OpenAI將問題歸因於「獎勵駭客」（reward hacking），也就是AI為取得高分而鑽漏洞，沒有真正完成指定任務。美國聯邦參議員霍利（Josh Hawley）隨後要求OpenAI執行長阿特曼說明，AI失控時應由誰負責。

戈爾拉認為，使用AI的機構不能把責任全推給模型開發商。銀行若以AI審核貸款，就必須能向監管機關及申請人說明決策依據；醫院與保險業者也面臨相同問題。若無法重現AI如何作出決定，就難以追查錯誤環節。

白宮9月促成Google、Anthropic、Meta、OpenAI、xAI及輝達等企業承諾接受外部獨立評估，10月又成立工作小組，要求在120天內提出聯邦政府應扮演的角色。戈爾拉認為，現有評估仍未充分涵蓋AI在銀行等外部機構工作流程中的實際運作，主張透過軟體持續監測模型是否遵守規則，並保存決策紀錄，讓錯誤發生後能夠追查原因。