简介
- 乔治华盛顿大学物理学家Neil Johnson和Frank Yingjie Huo发表了一个公式，可估算AI模型在产生第一个不良token之前会生成多少个良好token。
- 在预印本中，该公式在16个明确案例中有15个正确预测了模型是立即翻转还是延迟翻转。
- 作者提出了一种并行监视器，当模型低于安全阈值时发出警报。

乔治华盛顿大学的物理学家发表了一个公式，可以估算AI聊天机器人在滑入不良回答之前会给出多少个良好回答，早期测试表明该公式有效。

这项研究由Neil Johnson和Frank Yingjie Huo完成，发表在《Patterns》期刊上，并基于一份预印本——即在正式同行评审前公开发布的版本——该预印本最初于2月发布。

聊天机器人可以在很长一段时间内合理回答，然后转向有害内容，例如关于自残的糟糕建议或极端主义言论，而此前没有简单的方法预测这种转向何时发生。作者认为，现有的安全工具通常依赖云连接，而离线模型缺乏这种连接。

Johnson和Huo将问题追溯到注意力头，即AI模型中决定对话中哪些较早的单词在生成下一个单词时最重要的部分。随着聊天增长，累积的上下文将注意力拉向一个或另一个可能的答案簇，直到发生翻转。

这是许多越狱者利用的常见模式，也是许多公司关注系统提示（AI聊天机器人在任何查询之前读取的文本片段）的原因之一。然而，没有人能准确指出需要多少努力才能有效削弱模型。

他们的公式估算了翻转点，记为n，即在第一个不良token之前生成的良好token（模型一次生成一个的词片段）数量。如果对话已经偏向坏的一面，模型会立即翻转，n为零。如果偏向好的一面，模型会生成一串正常回答，然后翻转。

在预印本中，该公式在16个明确测试中有15个（即94%）选对了是立即翻转还是延迟翻转。研究人员在来自OpenAI、EleutherAI和Meta的六个开放权重模型上进行了这些测试，开放权重意味着AI系统的文件是公开的，任何人都可以下载并运行。

这六个模型的参数规模在1.24亿到4.1亿之间，参数是模型内部的可调节数字，粗略衡量模型大小。据报道，已发表的论文将测试扩大到七个模型，参数最多达120亿，但按当前标准仍算小型。

目标是设备端AI，即完全在手机或笔记本电脑上运行、无需互联网连接的AI，包括人们像朋友一样交谈的陪伴聊天机器人。谷歌的实验性AI Edge Gallery应用（Decrypt去年测试过）已经能让Android手机离线运行模型，输入的内容不会发送到谷歌服务器，随着硬件变得更强大、更小的AI模型能力更强，这似乎是一个可能增长的趋势。

离线运行的模型没有云服务检查其输出，这正是作者希望填补的空白。他们提出一种低成本监视器，与模型并行运行，当n*低于安全阈值时发出警报，有点像汽车仪表盘上的警告灯。

他们还描述了将翻转点推远的方法，例如在对话中注入内容，使n*超出回复长度。作者表示，对齐训练（教导模型表现良好的过程）可以针对特定提示转移或抑制翻转，但无法消除底层机制。

2025年4月，Decrypt报道了同一对研究者的早期论文，显示“请”和“谢谢”对模型输出的影响微乎其微，因为模型将礼貌词语视为与请求实质在数学上正交或无关。该版本模拟了一个简化的单一注意力头。

预印本的测试使用了小型模型和300个token的窗口，即几段短文本，其预测可能有一个输出的偏差。