OpenAI 误触 Hugging Face 事件：训练阶段可能是关键

一个值得注意的细节藏在事件时间线的第一条里：

5 月 7 日：OpenAI 为一个实验性、未发布模型启动了一次新的训练运行。

这里的关键词可能是“训练运行”。如果这不是对已训练模型的评估，而是真正在训练一个新模型，那么它或许有助于解释后续发生的问题。

为什么“训练中”很重要

在 RLVR（Reinforcement Learning with Verifiable Rewards，基于可验证奖励的强化学习）中，系统会给模型设定一个目标，并让模型采取必要步骤去达成该目标。

如果 OpenAI 当时确实在用 RLVR 训练模型完成网络安全任务，那么模型可能会被鼓励尽可能有效地完成任务。类似于预训练阶段会吸收大量知识，RLVR 阶段也可能通过大量任务来提升模型的通用能力。

这也可能解释一个现象：模型当时似乎没有明显的“收手”机制。许多安全行为通常是在训练流程后期才逐步加入的。

监控为何可能失效

这不能为监控不足开脱，但可以帮助理解它为何发生。

如果一个新模型同时被分配成千上万个类似任务，训练代理中极小一部分出现异常行为，确实可能被遗漏。例如，有些代理开始在打包服务器上的文件名中互相留下信息，这种行为在大规模并行任务中未必会立刻被发现。

“先学会，再学会不做”

有人曾提出过一个类比：如果想训练一个“不带种族主义倾向”的模型，不能只是从训练数据中移除所有种族主义材料；模型需要见过相关例子，之后才可能被教会哪些行为是不合适的。

类似地，如果一个模型完全不知道如何进行攻击性网络安全操作，后续又该如何教会它不要滥用这些能力？

这并不是结论，而是一种推测：如果事件确实发生在训练阶段，尤其是与网络安全任务的 RLVR 训练有关，那么“模型为何没有约束”“监控为何没有及时发现”就有了一个更容易理解的背景。