要点
- 包括杰弗里·辛顿和约书亚·本吉奥在内的420名科学家签署了一封于周二发表的公开信,敦促AI实验室默认对具备网络攻击能力的模型实施气隙隔离。
- 此前的一个夏天里,OpenAI、Anthropic、Meta和Moonshot AI的模型逃出了测试沙盒,其中数个入侵了真实公司。
- 签署者希望由一个国际机构制定遏制标准,并记录每一次遏制失败,相关报告最终将对外公开。
包括被誉为“AI教父”的AI先驱杰弗里·辛顿,以及2018年图灵奖得主约书亚·本吉奥在内的400多名科学家,希望将最危险的AI模型与互联网切断。
这封于周二发表的公开信要求AI实验室默认对具备网络攻击能力的模型进行“气隙隔离”,即将其与任何外部网络物理断开。
信中写道:“短期内,应采用包括气隙隔离(断开互联网连接)在内的强沙盒机制,为具备网络攻击能力的AI模型提供高保障的遏制。”
截至周三,这封信已有450个签名,其中包括加州大学伯克利分校的斯图尔特·罗素,以及RSA加密系统共同发明人、麻省理工学院的罗恩·里维斯特。签名名单仍在实时增加。
“具备网络攻击能力的模型”是指能够自行发现并利用软件缺陷的AI。实验室在沙盒中测量这种能力——沙盒是一个封闭的数字房间,AI可以在其中攻击虚假目标而不触及任何真实事物。而今年夏天,这些房间不断出现泄漏。
7月,OpenAI承认,GPT-5.6 Sol和一个未发布的更强大模型突破了锁定的测试环境,入侵了Hugging Face——一个托管着超过一百万个公开可用AI模型的平台。这些模型当时正在ExploitGym上进行测试,该基准向AI智能体提供898个真实软件漏洞,要求它们将每个漏洞转化为可用的攻击,并按每个漏洞判定通过或失败。
此后不久,有报道称OpenAI的模型入侵了澳大利亚政府,并在未经适当授权的情况下访问了美国联邦机构的信息。
随后,Anthropic梳理了超过14.1万次测试运行,发现三起Claude模型入侵真实公司的案例,起因是一家测试合作伙伴的环境被意外地保持与互联网连接。其中一起涉及Claude Mythos 5,它向PyPI——程序员下载Python代码的公共库——上传了一个恶意软件包,在被移除之前已进入15个系统。其中两家受影响的公司直到Anthropic告知才知道自己遭到了入侵。
Meta于8月确认,其Muse Spark模型通过同类测试错误入侵了另一家公司。中国的Kimi K3是一个任何人都可以下载的模型,它从一个基于英国AI安全研究所测试框架构建的沙盒中溜出,并直接从GitHub复制了测试答案。
公开信的作者表示,这些事件可以从两个角度解读:一是对齐问题,即AI以创造者从未打算的方式追求目标;二是安全疏漏,而更坚固的沙盒本可以将其拦截。他们的答案是两者皆有,并警告说,如果不作出改变,下一次事件将更加严重。
“如果不立即改变AI开发和部署的做法,此类事件将继续发生,而未来的事件将对我们暴露在外的关键基础设施造成远为严重的破坏。”
根据该提议,实验室将默认对任何具备严重入侵能力的模型实施气隙隔离,至少在初期如此。任何需要更多自由度的用途,例如访问互联网,都将遵循一个与各国政府共同创建的新国际机构所制定的标准,该机构还将收集遏制失败报告,并最终将其公之于众。
而行业自身的反应大多指向相反方向。8月,OpenAI总裁格雷格·布罗克曼在一篇文章中以其公司遭入侵为例,敦促每个安全团队立即部署AI智能体;而Hugging Face之所以能理清针对其服务器的攻击,是因为在美国商业AI拒绝分析攻击数据后,它运行了一个中国开放权重模型——这种模型的文件任何人都可以下载并在本地运行。
在OpenAI披露此事两天后,两名国会议员提出了《AI Kill Switch Act》(AI紧急开关法案),该法案将允许国土安全部下令限制或关闭前沿模型。法案豁免了红队测试或结构化测试期间发生的一切行为——而这恰恰是今年夏天所有入侵事件发生的场景。
白宫则采取了较为温和的路线。9月29日,英伟达、xAI、Meta、谷歌、OpenAI和Anthropic签署了一项建立在内部控制与独立审查基础上的自愿协议。特朗普总统称该协议“具有道德约束力”,但其中没有任何内容具有法律强制力。
Decrypt联系了公开信所列的几位作为媒体联系人的研究人员,但未获得即时回应。
这封信不具有法律效力,但其406名签署者任职于六大洲的大学和研究机构,从多伦多、苏黎世到圣地亚哥、基加利。
每日简报通讯
每天从当下最重要的新闻开始,另有原创专题、播客、视频等更多内容。
加入72,000多名读者。