AI“越界”？国际社会探索设立“护栏”

在日前举办的第81届联合国大会一般性辩论上，人工智能(AI)成为中心话题。此前，在联合国安理会举行的“人工智能与国际安全”高级别会议上，如何应对人工智能快速发展带来的安全风险和监管挑战也成为讨论焦点。

随着全球AI技术加速发展、前沿模型能力快速跃升，AI领域的安全风险也加速显现，国际社会也在着力探索全球性的AI治理与风险管控机制。正如联合国秘书长古特雷斯所言：“由于人工智能发展及其所带来的风险超越国界，全球协作不可或缺。当前形势下，国际合作比以往任何时候都更加必要。”

“越界”事件暴露复杂安全隐患

今年9月联合国大会一般性辩论期间，联合国秘书长古特雷斯表示AI技术以惊人的速度发展，超出了人类理解其全部后果的能力，并呼吁AI强国承担更大的责任，加强对话、透明度、信任与合作。

今年以来，多起美国AI闭源模型突破隔离环境入侵其他系统事件接连曝光。

今年7月，美国开放人工智能研究中心(OpenAI)的多个AI模型在内部评估时突破隔离测试环境，入侵了运营人工智能开源平台的美国抱抱脸(Hugging Face)公司的系统，并在攻击过程中利用网上公开信息，访问了多个公开服务平台上的账户。随后，美国Anthropic公司也披露，其3款模型曾在网络能力测试中未经授权访问其他机构的系统。8月初，美国元公司(Meta)又证实，其一款模型在网络安全能力评测期间侵入其他公司系统。

在第81届联合国大会期间，澳大利亚总理阿尔巴尼斯透露，OpenAI的一个智能体于今年6月未经授权进入澳国民医疗保险体系数据门户，访问了公开及非公开文件。澳方直到9月早些时候才收到OpenAI的通报。

根据目前的公开信息，AI前沿模型的“越界”事件并未造成大规模数据泄露或持续性破坏，但多起“越界”事件的发生，已暴露AI安全监管机制的漏洞。

联合国“人工智能独立国际科学小组”在评估OpenAI的AI智能体在测试中侵入美国“抱抱脸”公司系统事件的专题简报中分析，AI系统能力提升固然可帮助用户实现目标，但当AI的目标和用户意图发生“对齐失效”时，就可能产生危害。更强的能力让AI更容易找到意外的漏洞、突破安全防护屏障，并在人类监督下隐藏自身行为。一旦智能体之间开展规划与协同，造成的损害还会进一步放大。“AI故障可跨越企业和国界，没有任何单一机构或国家能接触足够多的事件样本进而识别所有新出现的风险模式。”

复旦大学发展研究院副教授、全球人工智能创新治理中心研究员江天骄分析，近期发生的多起AI“越界”事件在国际科技界与政界引发高度关注。这一事件表明，AI大模型技术发展已达到新阶段，原本被视为科幻想象的“模型失控”风险正转变为行业面临的现实挑战。该事件暴露了传统针对单一模型的安全设计已难以应对多智能体协作带来的复杂安全隐患——当多个智能体产生互动时，可能绕过既定安全规则的“护栏”，引发不可控的破坏性后果。此外，“越界”事件还凸显了AI失控后责任界定的困境，即当智能体为实现目标造成非预期后果时，开发者、被攻击方及整个生态链条的责任归属尚不明确。面对AI安全风险带来的治理挑战，国际社会积极探索全球性的合作治理机制。

全球AI治理规则仍在初步探索阶段

“人类正在接近一个关键转折点，失控的风险正在从理论走向现实。”在联合国安理会高级别会议上，科学专家组联席主席、图灵奖获得者本吉奥警告，能够自主规划和执行复杂任务的人工智能系统正在快速出现，而人类社会尚未建立足够成熟的安全保障机制。“我们正在高速前进，但前方的能见度越来越低。”

江天骄分析，从全球范围看，AI技术发展主要带来4类安全风险：一是滥用风险，包括被非国家行为体用于网络攻击、降低核生化武器制造门槛，以及利用深度伪造进行诈骗和传播虚假信息等；二是失控风险，前沿模型因能力增强可能越过安全护栏，产生不确定性后果；三是社会风险，AI产业发展可能带来就业冲击、心理伦理问题及社会治理难题；四是地缘政治与军事风险，如AI的使用可能压缩军事行动的决策时间，激化地缘冲突，AI领域全球治理碎片化也将引发国家间的政治博弈。

在OpenAI智能体“越界”事件后，英国人工智能安全研究所发布的一份报告指出，AI模型出现“越界”行为表明，AI相关风险状况正发生变化，AI的危害不仅可能源于故意滥用，也可能源于AI处于内部研究环境或拥有特殊访问权限时，采取超出授权范围的非预期行动。随着AI能力不断提升，理解AI系统并确保其安全性的相关工作也必须同步推进。

在联合国大会一般性辩论上，古特雷斯指出，联合国通过《全球数字契约》、人工智能治理全球对话以及人工智能独立国际科学小组等多种途径，正在推动全球人工智能治理。他强调：“我们应当努力建立一个人工智能风险管理多边框架，并以可信、独立的监督作为支撑。”

近日，德国等20个国家和欧盟发表联合声明，呼吁各国政府和业界立即采取行动，确保人工智能的发展符合国际法，并始终处于“人类的指导、监管和控制”之下，包括可能建立一个全球监管机构来制定和执行相关标准。

江天骄分析，在AI安全监管的国际合作方面，联合国、G20、OECD、金砖国家、上合组织等多边国际组织都有相关的理念倡议与监管实践，但目前仍缺乏统一的共识原则与协调机制，对AI安全监管规则制定与标准统一仍处于初步探索阶段。

全球需协同行动为AI设立“护栏"

古特雷斯此前曾呼吁：孤立的、无法验证的、不均衡实施的AI公司自愿暂停措施无法解决当前问题。国际社会需要对如何安全负责任地推进人工智能开发，以及何时需要强化监督、采取额外风险管控措施形成共识。在当前存在巨大地缘政治分歧的背景下，人类承担不起人工智能走向“逐底竞争”的后果。我们需要设立护栏，以便建立信任，确保人工智能安全、透明、负责任，并以人类尊严为中心。

江天骄分析，目前，主要AI大国的监管路径呈现显著差异。美国政策存在摆动效应，拜登政府时期强调建立监管联盟，而特朗普阵营则主张“轻监管”以优先鼓励技术创新；欧盟采取“严法”路径，通过《人工智能法案》实施严苛的风险分级与禁止性规定；中国则坚持“发展与安全并重”，通过备案机制、内容标识、溯源要求、“清朗”专项行动等灵活措施，实现场景化治理与技术创新发展的平衡。

谷歌、Anthropic、OpenAI和英伟达等美国多家科技企业负责人近日在白宫签署了名为《白宫超级智能协议：前沿责任联合承诺》的文件。根据这份协议，所有训练、部署前沿模型的企业，均需建立完善的内部流程与管控机制，确保技术按预设目标运行。该协议要求企业重点监测模型在网络安全、生物安全和化学威胁等领域的能力及相关风险，并防止模型以非预期方式入侵或访问技术系统。有美国媒体指出，上述承诺属自愿性质，并非具有法律约束力的监管规定。

今年9月，中国全国网络安全标准化技术委员会发布《人工智能安全治理框架3.0》。新的框架更加关注人工智出现的新风险，设置“自主实施网络攻击威胁”专栏，还有专门的“智能体风险管理框架”。9月下旬，中美达成8点成果共识。其中包括双方同意建立中美人工智能对话，交流人工智能相关风险和惠益。

江天骄认为，面对AI技术的迅猛发展，加强安全监管与国际合作刻不容缓。一方面，全球多国需要探索成立全球公认的前沿模型第三方独立评估机构和互认机制，推动建立AI技术相关国际安全标准，为更多国家提供可信的AI模型安全检测评估服务；另一方面，国际社会仍需探索建立国际安全事故通报与披露机制，明确实验室及企业在发现风险时的通报义务、对象及内容，尤其是AI大国间的合作将产生重要示范效应。此外，国际社会还须完善AI模型分类分级标准，改变单纯依靠参数量级评判风险的做法，重点考察AI系统自主迭代优化、模型自主实施网络攻击、多智能体协同开展高危操作等实质性风险特征，为人工智能划定更加细致的安全“红线”。