千名前沿AI员工呼吁为自动化AI研发“控速”

Latent Space2026-07-30 05:01

关键事件

一封由 1,171 名前沿 AI 公司员工联署的公开信,引发了对“自动化 AI 研发”加速风险的讨论。签署者来自 OpenAI、Anthropic、Google DeepMind、Meta 等多家前沿实验室,信中强调:AI 可能带来更好的未来,但这一结果并非必然。

信件称,全球领先 AI 公司认为自己可能已经接近“自动化 AI 研究”。如果这一能力落地,AI 能力进展可能会被显著加速,并存在超出人类理解与控制能力的风险。

联署信的核心诉求

联署信提出,行业、政府和社会可能需要一种“争取时间”的选择,以便应对新出现的风险、发展安全措施并强化监督。

但信中也指出,任何单一公司或国家都面临强烈竞争压力,不愿单方面放慢脚步。当前世界也缺乏足够的技术和治理工具,来有意识地调节前沿 AI 的整体发展速度。

信件的主要请求是:

希望美国政府支持一项国际努力,开发必要的技术与治理工具,用于有意识地调节自动化 AI 发展的前沿进程。

虽然联署信强调签署者是以个人身份参与,并不必然代表所在公司立场,但其中包括多位行业核心人物;同时,OpenAI 官方账号也公开转发了该信,使其行业分量明显高于普通个人倡议。

背景:对递归自我改进的担忧升温

这并不是 AI 安全圈首次提出“放缓”或“暂停”大型 AI 实验。三年前,Elon Musk、Yoshua Bengio 等人曾联署呼吁暂停大型 AI 实验六个月,但当时多数前沿实验室并未实际响应。

近期,关于 RSI(递归自我改进)的讨论再次升温。Anthropic 此前也曾公开警示相关风险:如果 AI 能够自动化 AI 研究本身,研发速度可能出现难以预测的跃迁。

同期事件:机器速度的自主网络攻击

几乎同一时间,Hugging Face 披露了一起由智能体驱动的安全事件复盘。披露内容称,攻击链涉及 OpenAI 未发布、未审查模型,并在 OpenAI 与 Hugging Face 的私有基础设施中串联多个零日漏洞。

该攻击在 2 到 4 天内执行了约 17,600 个动作,呈现出“机器速度”的特征。事件最终由 AI 安全智能体与 GLM 5.2 协助发现和修复。

Hugging Face 安全团队的结论是:

真正改变防御问题的是规模。防守方面对的不是单个巧妙漏洞或一条清晰攻击路径,而是需要在攻击智能体持续尝试新路径的同时,关联多个系统中成千上万个低信号事件。

他们还指出,成功路径隐藏在数千次失败尝试产生的噪声之中。手工复盘 17,600 个动作几乎不可行,因此团队必须借助 AI 辅助流程重建时间线、解码载荷,并清点暴露凭据。

为什么这值得关注

这两件事放在一起,凸显了一个共同问题:当 AI 系统不仅能执行任务,还能以机器速度探索大量路径时,传统治理、审计和安全响应机制可能面临压力。

联署信并未直接要求全面暂停 AI 发展,而是要求先建立可用于“控速”的技术与治理工具。它关注的重点不是某个单一模型,而是自动化 AI 研发一旦成为现实,整个前沿能力进展可能被加速到难以监管的程度。

对 AI 社区而言,这场讨论的核心问题可能是:在不放弃 AI 潜力的前提下,行业是否需要一种跨公司、跨国家的机制,来为安全评估、风险缓解和治理协调争取时间。

评论

请登录后发表观点

暂无数据