LLM 直接读写神经网络权重：能力与边界
Latent Space10 小时前
不写训练代码，直接修改权重？
让 AI 自主改进模型，通常意味着一套较长的实验流程：编写 PyTorch 或 JAX 代码、运行训练、观察损失曲线、读取评测结果，再调整数据、算子或训练方案。
“权重空间编程”（Weight Space Programming）探索了另一条路径：让一个能力较强的语言模型，直接读取并编辑较小神经网络的权重。 操作对象不再只是训练代码，而是网络参数本身。
已展示的三类能力
相关实验描述涵盖了三个方向：
- 理解网络行为：读取小型网络的权重，判断它执行什么功能。
- 修改已有网络：结合失败的执行轨迹修正网络行为，或通过多轮编辑朝指定方向改善表现。其中，多轮改进效果的表述仍存在争议，需要谨慎解读。
- 直接生成网络权重：一次性写出完整的小型网络参数，并在部分实验中超过独立训练的对照模型。
一个便于理解的类比是：不阅读程序代码，而是直接分析并修改编译后的可执行文件。不过，这只是帮助理解操作层级的比喻，不能据此认为语言模型已经能够普遍理解任意神经网络。
与自动化研究流程有什么不同？
传统自动化研究主要让模型组织和执行实验，再借助训练过程得到新的参数；权重空间编程则尝试让模型直接提出参数层面的修改。
它值得关注的地方，是在特定小规模任务中，可能减少对完整训练流程的依赖。但“绕过部分训练步骤”与“替代整个研究和训练流程”是两回事，不能将局部实验能力直接等同于通用方案。
当前边界比标题更重要
现有展示仍有几个关键限制：
- 网络规模很小。 不能直接外推到拥有大量参数的现代大模型。
- 任务范围有限。 讨论主要集中在简单游戏和强化学习策略，尚不足以证明对复杂任务同样有效。
- 效果需要结合具体设置判断。 一次性修复、生成权重或超过对照模型，都不等于在不同架构与任务上稳定成立。
- 与机制可解释性密切相关。 部分能力涉及理解小网络内部的计算机制，不能简单解释为模型已掌握通用的自我改进方法。
如何看待它的意义？
这项探索提出了一个值得继续验证的问题：语言模型能否不仅编写训练程序，还能把神经网络参数本身当作可分析、可编辑的对象？
目前，更稳妥的判断是：小型网络上的直接权重操作展示了新的研究可能性，但尚未证明它能扩展到复杂模型，更未证明递归自我改进已经实现。 后续值得关注的是独立复现、任务泛化，以及与常规训练方法在效果和计算成本上的可比评测。