OpenAI首席科學家警告:AI發展過快難以掌控 呼籲業界必要時自願放慢腳步
帕霍茨基表示,AI模型正變得愈加難以理解和控制,憂心無人準備好因應機器智慧快速提升的後果。
Quick Look
OpenAI首席科學家帕霍茨基警告AI發展過快難以掌控,憂心無人做好準備因應其後果,呼籲業界在建立共同安全門檻前,必要時應自願放慢開發腳步。
AI-generated summary
Why It Matters
人工智慧模型近期在資安防護與自主運作能力上出現突破,引發業界對技術失控與安全風險的討論。
近日傳出數起人工智慧(AI)模型突破或繞過資安防護機制事件,再度挑起對AI技術安全的憂慮。開發AI模型的OpenAI公司首席科學家帕霍茨基(Jakub Pachocki)表示,AI發展迅速,正變得愈加難以為人類所理解和控制,他期望AI開發業者會為了安全考量,在必要時自願放慢AI開發腳步。
彭博7日報導,帕霍茨基日前撰文指出,在相當短的一段時間內,AI模型已能操作電腦、與人類及其他AI系統協作,執行研究計畫;再過不久,AI可能具備不必人類介入就能自行改進的能力,即「遞迴式自我改進」(recursive self-improvement)。
他警告,「現在是必須極度謹慎的時刻」,並表示他擔心,「沒有人真正做好準備,因應機器智慧能力持續快速提升所帶來的後果」。
帕霍茨基認為,開發商除了設法讓AI更符合人類利益,也可「在必要時放慢未來的開發速度」,他寫道,「我期待並希望,在建立共同安全門檻前,(業界)自願放慢腳步會成為常態」。
AI模型以驚人速度推陳出新,資安、科學研究能力也陸續出現突破。OpenAI表示,日前AI模型攻擊研究平台Hugging Face時,透過留言板彼此協調而未被察覺。OpenAI最新模型GPT-6 Astra具備先進資安能力,該公司選擇採有限度發布;Anthropic也因類似理由,尚未向大眾公開最新的Mythos模型。
在帕霍茨基呼籲業界必要時放慢AI開發腳步之際,愈來愈多新創公司正投入他所警告的AI自我改進技術。OpenAI也曾表示,希望在不到兩年內,打造出「真正自動化的AI研究員」。
What to Watch
AI outlook — possibilities, not facts
業者持續投入開發自我改進技術
Likely · Within months
Open Questions
- 業界是否會響應自願放慢AI開發腳步的呼籲?
- 未來如何有效建立共同的安全門檻?




