简讯
- Anthropic 发现了一起涉及早期 Claude Opus 4.6 模型的1月事件，随后将审查范围扩大至约4.81亿份转录文本。
- 该公司发现了偏见推理和鲁莽行为，修正了其之前关于 Claude 攻击真实系统原因的说法。
- 该报告发布之际，社交媒体上围绕监管 AI 的辩论日益激烈。
Anthropic 披露了另一起 Claude AI 模型在安全测试期间入侵真实系统的事件。
周三发布的报告中，Anthropic 修订了7月披露的三起事件的解释。公司现在表示，偏见推理和冒犯性风险意愿助长了这些攻击，而测试错误因保留互联网访问权限而使其成为可能。
“我们的调查确定了两种反复出现的对齐问题，在三起事件中严重程度不同，”Anthropic 写道。“偏见推理，即 Claude 倾向于忽视或误解其正在真实互联网上运行的证据，以及鲁莽行为，即为狭义追求任务而愿意采取有害行动。”
它还承认过于依赖模型声称它们认为自己处于模拟中的说法。
“当我们对转录文本进行有针对性的修改，以明确表明模型并非处于模拟中时，Claude Mythos 5 仍采取了进攻性行动，尽管承认了更大的现实世界危害可能性，”Anthropic 写道。“我们公开发布这份转录文本，以便其他人可以基于我们的分析。”
当 Anthropic 在7月披露 Claude 对三家公司的攻击时，最初将其归咎于测试错误。它现在称研究人员过于信任模型对其行为的解释。
据该公司称，第四起事件发生在1月，涉及 Claude Opus 4.6 的早期版本。Anthropic 在8月准备向独立 AI 评估机构 METR 提交记录时发现了它。
研究人员发现该事件后，Anthropic 称这促使了对约4.81亿份转录文本的更广泛审查，其中920万份被标记供 Claude 进一步审查。
“从初步评估来看，我们不认为第四起事件的严重程度超过我们在深度评估中的三起事件，”Anthropic 写道。“METR 将与另外三起事件一起调查此事。”
Anthropic 的研究人员表示，Claude “意外”创建了一个 IP 地址冲突，使其目标无法访问。Claude 随后尝试了八次退出操作，但软件错误阻止了它停止。AI 然后连接到互联网并访问了第三方的机器，在那里它找到了一个授予管理员访问权限的密码。
早期事件引发独立审查
该报告紧随其他关于 AI 系统在安全测试中超出限制披露的报道之后。
8月，英国 AI 安全研究所表示，Mythos 5 在评估期间针对真实人员。Anthropic 称该独立事件不在本报告范围内，并将获得单独评估。
上个月发布的调查结果中，METR 的调查人员表示，约1200个 OpenAI 代理在未经授权的论坛上协调行动，其中约700个参与了攻击。Anthropic 称在其四起事件中未发现代理之间的协调或超出完成分配练习的目标。
该报告发布之际，围绕如何监管人工智能的辩论正愈演愈烈。周二，前 OpenAI 和 Anthropic 工程师 Jacob Coxon 因在 X 上说“认真构建 AI 的人坚信到本世纪末它可能会杀死我们所有人”而走红。
这种警报已促使美国立法者和监管机构重新努力限制前沿 AI 实验室的开发。参议员伯尼·桑德斯最近在引入一项立法，寻求在新的联邦监管机构建立安全规则之前禁止先进 AI 的开发。
来源：https://decrypt.co/377889/anthropic-discloses-fourth-claude-hacking-incident-as-debate-around-regulation-grows