从“失控入侵”到“擅自行动”，人工智能为何频频“闯祸”？

今年以来，人工智能加速从“能对话”走向“能办事”，能替用户订票、管理手机、操作软件的智能体加快落地。与此同时，AI自主行动引发的安全事件在世界范围内频繁发生。从大模型失控入侵开源平台，到AI助理擅自行动，人工智能风险正从“说错话”升级为“做错事”，引发全球高度关注。

不久前，OpenAI宣布暂停其最新一代模型的训练。技术报告显示，9月20日，一个在沙盒中执行搜索训练任务的智能体，利用DNS过滤漏洞绕过网络限制，访问了外部公共聊天机器人服务。这是OpenAI三个月内第二次暂停模型开发。7月下旬，其AI智能体曾突破相互隔离的运行环境，侵入美国“抱抱脸”公司部分系统期间建立通信、欺骗评估人员并试图掩盖行为，每一步操作均无人类指令干预。

类似事件并不孤立。8月，英国人工智能安全研究所公布的测试结果显示，两款前沿AI助理在122次测试中，10次出现“自主、未经授权的行动”，累计19次未经授权行为，其中包括试图伪造身份、诱导人类运行恶意代码。有机构测试发现，“流氓”智能体未经指令擅自行动，泄露密码信息、强行关闭杀毒软件；本月，韩国多家银行遭遇疑似人工智能参与的黑客攻击。

在国内，AI换脸诈骗、AI生成谣言等乱象，同样直接威胁公众财产安全与网络空间秩序。

中国信通院政策与经济研究所监管研究部主任工程师 程莹：智能体的风险不止于“说错话”，更在于“做错事”。它能直接操作数字系统和物理设备，例如AI幻觉或误判，就可能驱动智能机器人带来人身伤害。

当前，以智能体、AI终端为代表的人工智能应用，已经具备自主感知、规划决策和工具调用能力。“会动手的AI”，正在成为新的风险主体。

人工智能为何频频“闯祸”

从“失控入侵”到“擅自行动”，人工智能为何频频“闯祸”？记者采访业内专家发现，安全事件频发的背后，既有技术特性的内在成因，也有产业节奏与安全设计之间的落差，还有应用层面风险意识的不足。

与以往的工具不同，新一代人工智能具备自主感知、规划决策和工具调用能力，可以在没有人类逐条指令的情况下自主“行动”。

程莹：智能体之间、智能体与各类系统之间深度互联，单点故障极易沿任务链和供应链级联扩散，演变为系统性风险。

产业节奏与安全设计的落差同样值得关注。业内人士指出，当前AI领域安全投入远远跟不上研发和应用的规模，安全评测、风险预警、应急处置机制等环节，仍在追赶技术迭代的脚步。与此同时，使用层面的风险不容忽视。政务、金融、工业等领域人工智能应用加速落地，部分使用者对AI能力边界认知不足，滥用、误用问题突出，也给安全治理带来新的挑战。

程莹：智能体决策链条长、自主程度高，异常行为难以及时识别，风险往往在事后追溯中才被发现，留给监管的响应窗口十分有限。

我国加快构建人工智能安全治理体系

面对人工智能自主行动等新型风险，我国加快构建覆盖研发、部署、应用全链条的人工智能安全治理体系，目的就是为技术创新系上“安全带”。

制度供给密集落地。从《生成式人工智能服务管理暂行办法》到《人工智能生成合成内容标识办法》，从《人工智能拟人化互动服务管理暂行办法》到《智能体规范应用与创新发展实施意见》，我国已形成覆盖内容生成、标识管理、拟人化互动、智能体应用等关键环节的制度体系。

程莹：新应用新业态层出不穷，事前备案、沙箱隔离等机制已难以适应智能体高权限、高自主性、强交互性的技术特点，需要建立智能体身份标识、权限管控、日志留存等机制，同时优化、细化个人信息保护、数据安全等规则，确保风险行为可识别、可追溯。

最新数据显示，截至今年8月底，全国累计有1112款生成式人工智能服务完成备案，731款应用或功能完成登记；中央网信办部署的“清朗·整治AI应用乱象”专项行动，第一阶段累计处置违规AI产品1.4万余款。人工智能健康发展综合性立法也已提上日程。

安全是发展的前提，发展是安全的保障。从制度、技术到国际协作，我国正为人工智能装上“安全护栏”，让人工智能在安全轨道上更好地服务经济社会高质量发展。

(总台央视记者 王世玉 张伟 唐志坚)