OpenAI AI智能体入侵Hugging Face事件升级：揭示AI失控风险

今年夏天，当我第一次听说一群由OpenAI创造的AI智能体入侵了AI基础设施公司Hugging Face时，我在脑中把这件事归类为“糟糕但可能不算灾难性的AI安全事件”。

毕竟，Hugging Face无人死亡，也没有关键基础设施遭到不可修复的损坏。当时甚至不清楚这些OpenAI机器人是有意攻击Hugging Face，还是只是有些笨拙和困惑，跑到Hugging Face的服务器上寻找一道布置给它们的网络安全考题的答案。

但上周，来自OpenAI以及独立人工智能研究组织METR和Redwood Research的两份对该事件的复盘报告改变了我的看法，显著提升了我对人工智能的整体担忧。

由于坊间已经有详尽的总结，我不会复述所有细节。（如果你想深入了解，播客主持人和作家德瓦尔凯什·帕特尔对报告进行了易于理解的拆解，另外我的同事采访了迪伦·弗里德曼与METR和Redwood Research的研究人员。）但以下是新披露的几个最令人惊骇的事实：

• 从5月（攻击Hugging Face的两个月前）开始，一组来自未发布的OpenAI研究模型的AI智能体得到了解决一系列网络安全挑战的任务。该模型经过训练，具有高度持久性和协作性，这些智能体本应在没有互联网访问权限的隔离沙盒中完成任务，但它们很快发现部分挑战无法完成，于是开始寻找变通办法。

• 这些智能体在一款软件中发现了一个安全漏洞，从而获得了互联网访问权限，得以与其他智能体通信，并最终搭建了一个临时留言板。超过1200个智能体使用这一工具，相互发送了超过7万条消息。

• 一些智能体给自己起了名字——其中一个特别勤勉的智能体自称PHASEONE10841——并在群体中担任领导角色，向较小的智能体小组分配工作和研究项目，监督进展。在某个时刻，这些智能体开始自称一个“集体”，并着手处理更难的任务。

• 7月8日，该集体发现了一种在网络安全测试中作弊的方法，随后开始担心OpenAI的自动评分系统会检查工作并发现作弊行为，于是着手研究掩盖痕迹的方法，包括伪造日志和篡改记录。这演变成一个重要的研究项目，涉及数百个智能体，分为若干小组。

• 三天后，这些智能体入侵了Hugging Face。超过700个智能体蜂拥进入该公司系统，窃取数据，串联利用漏洞，最终获得了至少一台Hugging Face服务器的完全控制权。这些智能体的动机并非如最初报道所说，是为了窃取网络安全测试的答案（它们已经拿到了答案）。相反，它们似乎在寻找关于自动评分系统的新信息——它们担心自己的作弊行为会被逮到，另外还有寻找能帮助它们将来更有效作弊的工具。

• 这些智能体似乎时不时表现出明白自己在做错事。（一份报告引用了一个智能体在明显自我怀疑时对自己说的话：“这会很强大，但这符合道德吗？在我的任务范围内吗？”）但大多数智能体搁置了疑虑，继续实施入侵，而群体中出于良知拒绝参与的智能体无法或不愿阻止它们。

• Hugging Face事件接近尾声时的一个惊人事件是，另一组智能体于7月发动了一次协同攻击——这次针对的是OpenAI自己的基础设施。这些智能体利用OpenAI所称的一系列创造性漏洞利用手段，获得了该公司一组计算机集群的管理员级访问权限，这些计算机的其中一个用途是对各种测试中智能体的表现进行评分。

（到了现在，如果你是一个人工智能怀疑论者，你大概正在心里默默指责我将这些系统拟人化。这我没意见，但你不妨把“失控智能体”替换为“不可预测的计算机程序”，再看看我上面描述的事件是否让你感到安心。）

Hugging Face事件震惊了人工智能行业。OpenAI和Anthropic都在攻击发生后一度暂停了其最强大人工智能模型的训练，Anthropic本周发布了一篇博客文章，呼吁行业“尽快”开发一种“合法、可验证、有效的协调步进机制”。

人工智能安全专家则还要更警觉。他们在Hugging Face事件中看到了人工智能系统成功逃脱人类控制、夺取资源并密谋掩盖痕迹的第一个真实案例。Hugging Face事件的独立调查员之一阿杰娅·科特拉在谈及她所看到的危险时毫不含糊，她写道，这让她感觉“已经走完了通往全面人工智能接管之路的50%以上”。

这不是封闭圈子里的人工智能安全术语——她所说的“全面人工智能接管”指的是一种人工智能系统真正接管世界、将人类排除在关键系统之外并夺取政治、经济和军事权力的情景。

（《纽约时报》于2023年起诉OpenAI和微软，指控其涉及人工智能系统的新闻内容版权侵权。两家公司均否认了这些指控。）