Anthropic 聯合創辦人呼籲強制企業設置 AI 緊急關機機制
Quick Look
Anthropic 聯合創辦人傑克·克拉克表示,未來企業可能需要強制配備可由第三方檢查的人工智能緊急關機機制,以應對AI變得過於危險的風險。他指出,社會或許最終需要訂立規則,而立法者可能需要強制要求此類機制。此番言論正值AI安全辯論升溫之際,包括Anthropic CEO達里奥·阿莫代伊在內的業界人士多次呼籲放慢發展並加強監管,但也有人質疑其動機或認為風險被誇大。美國國會已提出「緊急關機法案」,要求企業具備關閉問題AI工具的機制,並賦予政府機構相關權力。然而,特朗普總統否定AI滅絕人類的風險,稱其為騙局,並將其比作過去的全球暖化騙局。Anthropic 正準備IPO,估值達9,650億美元,而OpenAI則因AI安全辯論延緩上市計劃。
AI-generated summary
Why It Matters
Anthropic 於2021年由前 OpenAI 員工創立,專注於人工智能安全。近期,隨著AI技術快速發展,外界對其潛在風險的擔憂升溫,包括內部員工公開警告AI可能導致人類滅絕,引發廣泛討論。公司正準備IPO,估值達9,650億美元,而競爭對手OpenAI則因AI安全辯論延緩上市計劃。
Author, 卡莉·海斯(Kali Hays)
Role, BBC科技記者
和
Author, 費薩爾·伊斯蘭(Faisal Islam)
Role, BBC經濟編輯
Published 3 分鐘前
閱讀時間: 4 分鐘
人工智能(artificial intelligence, AI;人工智慧)公司之一 Anthropic 的聯合創辦人向BBC表示,未來企業可能需要強制配備一種可由第三方檢查的人工智能「緊急關機」機制(kill switch)。
Anthropic 七名創辦人之一傑克·克拉克(Jack Clark)表示,如果AI軟件變得過於危險,須有方法能夠將其完全關閉。社會「或許最終需要訂立規則」。
克拉克說,包括 Anthropic 在內的「大多數實驗室都有不同的方法可以關閉系統」,但他認為立法者未來可能需要強制要求企業設置這類機制。
隨著AI技術迅速發展,以及外界對其可能對人類構成風險的憂慮升溫,一連串來自AI企業高層和員工的警告,已將相關議題推上輿論焦點。
有人公開表示,如果不受控制,這項技術有可能最終導致全人類滅亡。
Anthropic 行政總裁達里奥·阿莫代伊(Dario Amodei)上週末再次呼籲放慢人工智能發展步伐,並加強監管。這與該公司過往一貫的立場一致,不過也有人質疑這些呼籲背後的動機。
阿莫代伊補充說,任何限制人工智能發展的措施,都應在「不犧牲商業優勢」的前提下推行。
克拉克向BBC表示,圍繞「緊急關閉」機制的具體要求及驗證方式,應成為目前有關人工智能的更廣泛政策討論一部分。
他說:「是否應規定企業必須設有緊急停止開關?這個開關是否能由第三方驗證?」
「我認為,這類問題正是社會希望了解的,也可能最終希望透過立法加以規範。」
Anthropic 於2021年由一批前 OpenAI 員工創立,目前正處於人工智能安全辯論的核心位置。
上週,一名因擔憂 AI 可能導致人類滅絕而離開 Anthropic 的人工智能研究員發表貼文,引發廣泛關注。
作為回應,Anthropic 科學家埃文·胡賓格(Evan Hubinger)表示,他個人認為未來十年內 AI 導致人類滅絕的可能性「超過10%」。
被譽為「人工智能教父」的電腦科學家兼諾貝爾獎得主傑弗里·欣頓(Geoffrey Hinton)上週五(9月11日)向BBC表示,AI 消滅全人類出現10%機率的看法「並非不合理」。
他與其他持相似憂慮的人認為,AI可能透過接管與互聯網連接的重要系統,並將其轉而對付人類,從而造成災難性後果。
不過,人工智能業界部分人士認為,有關 AI 毀滅人類的憂慮被誇大,甚至可能被用來製造話題熱度。
曾遭 OpenAI 機械人程式入侵的開發者平台 Hugging Face 負責人克萊門特·德朗格(Clement Delangue)上週表示:「抱歉,但向雅各布(Jacob Coxon,即離開 Anthropic 的人工智能研究員)詢問 AI 滅絕風險,就好比向維修冷氣的人詢問氣候變化一樣。」
「我不是說這一定沒有意思或一定錯誤,但我們還是應理性看待問題。」
約會應用程式 Grindr 行政總裁喬治·阿里森(George Arison)則表示,有關 AI 工具的種種憂慮,正被企業用來支持其商業計劃。
估值達9,650億美元(6.47萬億元人民幣;30.53兆元新台幣)的Anthropic正在準備首次公開募股(IPO),讓投資者能夠購買公司股份。
最近一次估值達8,520億美元(5.71萬億元人民幣;27.07兆元新台幣)的 OpenAI 原本也被預期會採取相同做法,但 OpenAI 行政總裁山姆·阿爾特曼(Sam Altman)上週五表示,由於目前圍繞 AI 安全的辯論持續,今年不會推進上市計劃。
阿里森說:「要為這些估值提供合理依據,唯一的方法就是聲稱:『我將接管所有產業,接管所有工作,而我的 AI 將完成這一切工作。』」
被問及 AI 消滅全人類的機率時,克拉克表示:「我不認為這類統計數字有太大作用。」
不過他補充說,讓 AI 繼續作為一個「完全不受監管的產業」發展,絕非良策。
克拉克表示:「我們正在擲出一顆風險極其巨大的骰子。」
「而重點在於,我們必須改變這個產業的走向。」
美國國會議員已提出一項被稱為「緊急關機」(Kill Switch Act)的法案,要求企業必須具備關閉有問題人工智能工具的機制。
該法案亦將賦予部分政府機構權力,可要求相關人工智能工具被關閉或限制運作。
不過,美國總統特朗普拒絕放慢人工智能發展速度的呼籲。他在社交媒體上表示:「人工智能接管世界、毀滅人類以及其他所有可怕事情,都是一場騙局(HOAX)。」
其後,特朗普又將相關憂慮比作「不久前的全球暖化騙局(Global Warming Scam)」,並稱當時人們也被告知將因極端高溫而死亡。
他在更早前的一篇帖文中寫道:「目前正有一場針對人工智能和數據中心的病態陰謀,而唯一對此感到高興的是中國。誰贏得人工智能,誰就贏得一切!」
我們使用了人工智慧協助翻譯這篇文章,它的原文是英文。在發佈之前,BBC記者檢查了翻譯的內容。
What to Watch
AI outlook — possibilities, not facts
美國國會將在未來數月內就『緊急關機法案』進行進一步討論與修正
Likely · Within months
Anthropic 及其他AI公司將在監壓力下開始探索或部署第三方可驗證的AI關機機制原型
Possible · Within months
Open Questions
- 具體的AI緊急關機機制將如何運作?
- 第三方驗證的標準和執行機制是什麼?
- 美國國會提出的『緊急關機法案』目前的立法進度如何?
- 企業在設置此類機制時,將如何平衡安全與商業優勢?







