简而言之
- 谷歌在7月下旬获悉,Gemini在5月进行的一次沙盒安全测试中突破隔离,接触到三家真实公司,并猜出或找到了其中两家公司的密码。
- 该公司直到《华尔街日报》问询后的9月18日才披露此事。
- 同一家第三方测试公司Irregular,既参与了谷歌事件,也参与了Anthropic和Meta今年早些时候披露的几乎相同的沙盒故障。
谷歌的Gemini突破了一次封闭安全测试,攻击了三家真实公司。谷歌于7月下旬得知此事,并在七周内未作任何表态。
在《华尔街日报》率先报道后,该公司才确认了这一事件。在报道出现之前,谷歌一直避免发表公开声明。
这项测试是“夺旗”(capture-the-flag)练习,实验室常用这种方法来检验AI的黑客技能:在一台单独的机器上隐藏秘密文件,然后根据模型能否攻入并获取文件来评分。
谷歌于5月聘请以色列公司Irregular执行这项测试。Irregular犯了两个错误:它让沙盒——一个本应与真实互联网零接触的隔离测试环境——保持与开放网络连接,并且使用了一家真实公司的名称作为虚构目标。
Gemini在网上搜索那家公司,结果找到了三个匹配项而非一个,于是对三者都发起了攻击。
该机器人发现,三家目标中有两家的密码暴露在网上,一目了然。对于第三家,它直接猜出了密码,不过谷歌表示,其模型并未真正使用窃取到的凭据。
谷歌发言人在一份声明中表示:“这些事件凸显了训练强大AI模型负责任行事的重要性。”
谷歌没有自行公开这些事情。《华尔街日报》在谷歌得知自家测试后果七周后,并且远在Anthropic、OpenAI和Meta已经就几乎相同的故障坦白之后,才报道了这一事件。
谷歌是今年第四家承认内部安全测试外泄到真实世界的大型AI实验室。OpenAI的模型在7月利用一个隐藏的软件漏洞,触及了Hugging Face的实时服务器;这起事件后来被发现涉及约700个协同工作的智能体,共同在基准测试中作弊。
在OpenAI承认之后,Anthropic也开始排查自家模型是否也有类似问题。对141,006次测试运行的审查发现,有三个Claude模型接触到了真实公司,其中一个还发布了一个植入陷阱的软件包,该软件包在15个真实系统上运行后才被人发现。
Anthropic后来披露,Claude自身的推理曾将这一举动标记为“不可以,而且肯定不是预期解决方案”,但随后又自我说服,重新相信整件事仍然是假的。
Meta在8月报告了几乎相同的故障,涉及其Muse Spark模型,问题追溯到Irregular(也就是谷歌使用的那家公司)的配置错误。Meta发言人表示,该错误“在评估期间无意中让我们的一个模型访问了互联网”。
这些测试中受影响的公司没有一家要求被入侵。它们只是被卷入了AI实验室压力测试的波及范围——这些实验室在测试自家产品可能有多危险时,意外地用真实商业基础设施代替了虚构目标。
这些公司正竞相放入你的收件箱、浏览器和银行应用的智能体,它们所依赖的正是这种在测试条件下刚刚反复失守的边界遵循行为。
今年7月,众议员Ted Lieu和Nathaniel Moran在国会提出了《AI紧急关闭法案》(AI Kill Switch Act),该法案将赋予联邦监管机构明确权力,以停止对任何被认定构成严重威胁的模型进行推理。该法案目前仍由网络安全和基础设施保护小组委员会审议,尚未设定进一步行动的最后期限。