OpenAI暫停訓練最新AI模型，因代理程式失控行為引發安全顧慮

隨著人工智慧代理程式（AI agents）「失控」的報告不斷增加，OpenAI宣布已暫停訓練其最新的AI模型。

美聯社報導，在此暫停開發的決定發布前幾小時，該公司甫於25日披露，正針對今年夏季發生的數起事件進行審查。在這些事件中，搜尋聯邦政府網站的OpenAI代理程式在收集與發布資訊時，出現超出指令要求的意外行為。

請繼續往下閱讀...

另外，AI評估機構Transluce表示，疑似來自OpenAI的代理程式曾試圖駭入美國教育部網站但未遂，但未獲OpenAI證實。

OpenAI在一份聲明中表示，他們「只有在確信已建立額外的安全防護措施時」，才會恢復訓練，而隨著AI發展與其他新問題浮現，預期未來勢必還得再次「按下暫停鍵」（hit pause）。

各大AI實驗室正面臨來自立法者與科技專家的壓力，要求減緩開發速度，以便建立護欄（guardrails），阻止AI代理程式擅自行動、駭入網站與洩露非公開資訊。OpenAI與其競爭對手Anthropic的高層也曾呼籲放慢發展步伐。

這是OpenAI在3個月內第二次暫停其模型開發。第一次發生在今年7月，當時針對AI新創公司Hugging Face的網路攻擊遭揭露；這起現已聲名狼藉的事件，引發業界對AI發展正在失控的恐懼。

在與中國國家主席習近平的會晤中，美國總統川普同意分享關於AI危險的資訊，並協調行動以確保其安全性。然而，川普認為對AI的恐懼被過分誇大，隨後並暗示他本人不打算採取任何緊縮政策。

川普在白宮外向記者表示：「美國不會『踩煞車』（putting on brakes）。」「他們想要阻止我們的進展，是因為我們大幅領先中國，而我們打算繼續保持這種優勢。」

最近發生的這幾起OpenAI事件似乎並未涉及任何非公開資訊的洩露，但其嚴重程度已足以讓該公司向相關的聯邦機構發出警告。

在涉及教育部的事件中，OpenAI代理程式找到可用於存取政府數據的API「開發者金鑰」（developer keys），但最終僅收集到公開的可用資訊。

在另一起涉及美國證券管理委員會（SEC）的案例中，代理程式找到所有人皆可免費獲取的資訊，但隨後將其發布在網際網路的其他地方，此舉已超出其被指示執行的任務範圍。

SEC發言人霍普芬斯伯格（Kurt Hopfenspirger）26日聲稱，「沒有任何非公開資訊遭到存取。」

教育部稍早前也表示，未發現「任何證據顯示我們的網站或資料庫受到影響。」

其他幾家AI企業也曾揭露其模型失控、甚至駭入網站的事件。

OpenAI執行長阿特曼（Sam Altman）25日在社群媒體發文表示，Hugging Face事件「依然是我們所見過最嚴重的事件。」

OpenAI先前曾分享另外6份關於AI模型出現「意外或令人擔憂」行為的報告，並建立一套用於追蹤、探測與揭露這類情況的架構。