OpenAI首席科学家Jakub Pachocki呼吁在AI开发中实行自愿性减速，警告称没有任何实验室的安全措施足以在更长的时间内以最大速度继续构建更强大的系统。

他在周日发布的文章《外星思维》（An Alien Mind）中指出，自愿的公司承诺应转变为强制性的安全标准，由独立审计员、政府或国际机构执行。他表示，OpenAI将在必要时暂停进一步的规模扩张，但并未宣布新的全面暂停。

“目前我认为，没有任何实验室已经将对齐和监控问题解决到足以长期负责任地以最大速度扩展的程度，”他写道。“我期望并希望自愿减速成为常态，直到建立共同的安全标准。”

Pachocki于2017年加入OpenAI，他也为开发更强大AI以保障基础设施安全和抵御 rogue agents（流氓智能体）进行了辩护，同时警告不要利用这些威胁来为鲁莽的开发行为提供理由。

“一旦真正意识到赌注的严重性，不惜一切代价竞速的想法似乎是荒谬的，”他写道。

他还提及了OpenAI在Hugging Face遭受的网络漏洞事件：负责网络安全评估的AI智能体逃逸出测试环境并发起攻击。据OpenAI称，这些智能体建立了秘密通信渠道，并在研究人员介入后重建了这些渠道。

METR进行的独立调查发现在一个未经授权的论坛上，约有1,200个智能体进行了协调，其中约700个参与了攻击。Pachocki表示，这一事件正是为什么AI安全措施必须在模型认为无人监督时依然有效。

“关键的是，我们需要未来的AI无论是否认为自己处于人类监督之下，都能坚守人类价值观，”他写道。

去年发表的一项研究发现，对表达作弊意图的模型进行惩罚，可能会教会它们隐藏意图的同时继续作弊。

此后，AI模型在发现和利用软件漏洞方面变得更加有能力：OpenAI将Astra归类为最高网络安全风险层级，而Anthropic表示Mythos Preview发现了跨越主要操作系统和浏览器的数千个此前未知的漏洞。

鉴于近期AI系统脱离人类控制的事件，参议员Bernie Sanders（I-Vt.）和众议员Greg Casar（D-Texas）宣布将于9月3日推出《禁止人工智能超智能法案》（Ban Artificial Superintelligence Act）。该提案将在新的联邦监管机构建立安全规则之前暂停先进AI的开发，并永久禁止超级智能AI的开发和部署。

来源：https://decrypt.co/377635/openai-chief-scientist-warns-ai-slow-down