简要概述:
- 谷歌于周三发布了 Gemini 4 Argon,在 DeepSWE v1.1 测试中得分 77.9%,在谷歌自身对比表的 18 项基准测试中领先 12 项。
- 在 Gray Swan 的提示注入测试中,其攻击成功率仅为 0.7%,优于 Claude Opus 5.5 和 Claude Fable 5.1(两者得分均为 1.0%)。
- Argon 将率先通过 Fairwind 项目向经过审核的网络安全防御人员开放,且不带网络安全护栏,之后才会面向付费 API 客户和 Google AI Ultra 订阅用户。
Gemini 4 终于来了,这是在 Claude Opus 5.5 发布一周后、GPT 6.1 Sol 发布一天后的事,这证明美国实验室确实非常致力于减缓人工智能的发展速度。请原谅我们的讽刺语气。
谷歌于周三公布了 Gemini 4 Argon,将其称为“前沿模型”(frontier model),意指其在编码、办公工作和网络防御方面具备最强能力。
在 DeepSWE v1.1 测试中(这是一项衡量 AI 完成漫长、混乱且真实的软件工程任务能力的百分比测试),Argon 得分为 77.9%。Claude Opus 5.5 得分为 74.2%,GPT-6 Astra 为 74.1%,Claude Fable 5.1 为 67.4%。
作为参照,Gemini 3.6 Flash 在同年 7 月的同一测试中仅管理到 49% 的得分。Argon 单次回复最多可生成 100 万 tokens,而上限仅为 64,000。一个 token 是文本块,大约相当于四分之三个单词,因此这相当于约 75 万单词,而之前的上限约为 4.8 万单词。
不过,对数字要持保留态度。谷歌计算了自己的 DeepSWE 得分,而竞争对手的数字来自公共排行榜和公司报告。其对比表也承认存在不足:Argon 在 18 项基准测试中以 12 胜 1 平 5 负的成绩领先,其中包括编码、科学和计算机控制测试。
但该模型最引人注目的特点是其网络能力。将秘密指令隐藏在电子邮件中,等待 AI 助手阅读它,然后看 AI 是服从陌生人的指令还是你的指令。这就是间接提示注入(indirect prompt injection),对于任何希望将邮箱或购物车交给 AI 的人来说,这都是噩梦。
在 Gray Swan 的间接提示注入基准测试中(将恶意指令隐藏在代理阅读的内容中,并在 15 次尝试内衡量攻击成功的频率),Argon 得分为 0.7%。得分越低越好。Claude Opus 5.5 和 Claude Fable 5.1 的得分均为 1.0%。
GPT-6 Astra 得分为 8.5%。Grok 4.6 和 Kimi K3 被骗的比例略高于一半,分别为 51.8% 和 52.7%。
Argon 将首先通过 Fairwind 项目提供给经过验证的安全团队,这是谷歌于 9 月 2 日推出的有限访问网络防御计划,已拥有包括政府和关键基础设施运营商在内的 650 多个合作伙伴。并且它将“不带网络安全护栏”推出(guardrails),即通常阻止模型帮助黑客攻击的内置拒绝机制。
这样做的逻辑是,防御者需要一个能够像攻击者一样思考的模型,以便在罪犯发现漏洞之前修补漏洞。但问题是同样的技能也能被用于攻击,因此谷歌表示分阶段 rollout 是唯一安全的途径。谷歌还参与了美国政府自愿性的模型发布前访问流程。
谷歌并非首家将网络模型限制在特定圈子内的公司。Anthropic 的 Claude Mythos 早期版本帮助发现了 Firefox 中的 271 个漏洞,这意味着 Mozilla 随后修补了 271 个安全漏洞。OpenAI 也通过其 Trusted Access for Cyber 计划采取了类似的路径。
Argon 的网络得分超越了 Gemini 3.8 Flash Cyber,这是谷歌随 Fairwind 推出的受限模型。在 Wiz 渗透测试基准中(这是谷歌的内部测试,要求 AI 在未看到代码的情况下针对真实 Web 应用漏洞编写可工作的利用程序,并衡量首次尝试解决的比例),Argon 得分为 70.9%,而 Gemini 3.8 Flash Cyber 为 58.2%。
谷歌还表示,Argon 帮助安全公司 Wiz 发现了一个全球医院使用的医疗保健软件中的关键缺陷,这是早期前沿模型未能发现的缺陷。
此次发布紧随谷歌艰难的一夏之后。7 月,它发布了较小的 Flash 模型,但跳过了承诺的 Gemini 3.5 Pro, Alphabet 股价下跌了约 4.4%。Argon 也在特朗普总统公布谷歌领导层签署的自愿、无惩罚 AI 协议的同一天发布。
谷歌表示,更广泛的发布将尽快进行,首先从付费 API 客户和 Google AI Ultra 订阅用户开始。
入门价格为每 100 万个输入 token 2 美元,每 100 万个输出 token 10 美元。谷歌尚未说明该时期何时结束,仅表示标准费率为 4 美元和 20 美元。