Anthropic称多次阻止科学家利用AI模型从事可能助长生物武器研发的研究
Quick Look
Anthropic报告称,过去八个月内多次阻止科学家利用其Claude AI模型进行可能用于生物武器开发的研究,包括功能获得性实验和常规武器软件开发,因无法判断研究意图而采取谨慎封禁措施。
AI-generated summary
Why It Matters
Anthropic是领先的人工智能公司,其Claude模型系列被广泛使用。公司此前曾披露AI被用于监视和宣传滥用,但生物武器相关风险是新焦点。
Anthropic表示,今年已多次阻止科学家利用其领先的人工智能模型开展研究的企图,这些研究可能有助于开发生物武器。
在一份描述其AI模型被滥用的报告中,Anthropic表示无法确定这些研究是出于合法还是邪恶目的,因为有效的生物学研究——能带来疫苗等突破的那种——也可能有助于设计危险病原体。面对这种不确定性,Anthropic表示选择谨慎行事,因为漏掉恶意活动的后果可能很严重。
“你不会看到有人像漫画书里那样说,‘嘿,我想制造生物武器杀死所有人,’”Anthropic威胁情报主管雅各布·克莱因在接受采访时说。“情况极其微妙。”
尖端AI模型可能促进已知或全新生物病原体的开发,这是专家们对这项技术最严重的担忧之一——该技术发展如此迅速,连其领先的设计者都怀疑人类能否完全控制它。
与灾难性网络攻击或与人类意图不一致的AI智能体相比,生物滥用作为AI的生存风险受到的关注较少,部分原因是过去的案例通常只出现在研究环境中,而非现实世界。
战略风险委员会高级研究员安德鲁·韦伯在报告发布前审阅了Anthropic的报告。他说,这些发现是“国家支持的生物武器开发者利用领先AI模型快速进步能力的案例,令人不寒而栗”。
Anthropic周四发布的长篇报告列举了过去八个月其Claude聊天机器人各模型被滥用的一系列事例。一些例子与Anthropic和其他AI实验室过去的披露类似,包括疑似与中国和伊朗政府有关联的行为者针对异见者和侨民社区进行监视。
报告还提到俄罗斯官方媒体使用Claude生成伪装成独立报道的在线宣传,包括关于摩尔多瓦选举的捏造内容。
Anthropic记录了另一种它认为属于新型的滥用:试图利用Claude开发用于常规武器设计和开发的软件,包括枪支、导弹、武装无人机和炸弹。报告详细描述了在中国的三起、俄罗斯的两起和也门的一起案例。
报告未点名也门这一例涉及哪一方,但上下文清楚表明指的是伊朗支持的胡塞武装。恐怖网络使用AI正日益成为美国安全官员的担忧。
但在报告列出的所有威胁类别中,可能生物研究最令人担忧。Anthropic未披露它阻止的研究人员或机构的名称、所属国家或所涉具体生物制剂,部分原因是其不确定这些人的目的。
尽管如此,Anthropic表示,这些科学家规避了旨在阻止被封锁地区用户访问其AI模型的控制措施,并设法“混淆研究目的以避开我们的安全护栏”。该公司封禁了相关账户。
在5月的一个案例中,一名科学家寻求Claude帮助撰写拨款申请,以资助针对基孔肯雅病毒的研究。这是一种蚊媒疾病,可导致数月严重疼痛和其他症状。这类研究被称为功能获得性研究,可能合法且促成疫苗开发,但也可能制造出超级病毒。在此例中,科学家想要设计病毒突变,使其在反复感染活体动物时更具危害性。
Anthropic表示,它认为这项研究令人担忧,部分原因是它能够辨别出这项工作拟在一家军事研究机构进行。
“我们不知道的是,这项研究是否有武器化意图,”克莱因说。“但军事机构进行功能获得性研究令人担忧。”
Anthropic表示,去年对其旧模型的评估表明,它们尚不能有效协助进行危险的生物研究。该公司称,当前模型更有能力完成复杂科学研究,这促使其收紧了安全护栏,以限制多种两用生物研究的提问。
What to Watch
AI outlook — possibilities, not facts
Anthropic将进一步收紧其AI模型的使用政策,特别是对生物科学和武器相关研究的审查
Likely · Within months
美国及盟国可能加强对AI在生物领域双用途风险的监管审查
Possible · Within months
Open Questions
- 被阻止的科学家具体来自哪些机构?
- 涉及的生物制剂具体是什么?
- 这些研究是否真的具有武器化潜力?






