Dyna-2:用世界动作模型推动机器人长时自主作业

Latent Space8 小时前

机器人完成一次漂亮的演示,与在真实环境中连续工作数小时,是两类不同的挑战。Dyna Robotics 联合创始人、首席科学家 Jason Ma 将后者视为机器人落地的核心问题:不仅要完成动作,还要在多步骤任务中保持可靠,并能从意外中恢复。

围绕这一目标,Dyna 推出了世界动作模型 Dyna-2,并进一步介绍了以该模型为核心的实体机器人智能体 Dyna-2.1。

世界动作模型:预测未来,也生成动作

按照 Jason Ma 的解释,世界动作模型不只是生成视频,而是把对未来物理状态的预测与机器人控制结合起来。

其基本输入包括:

  • 视觉信息:机器人摄像头拍摄的图像,以及过去数秒的视频;
  • 自身状态:关节角度等硬件状态信息;
  • 语言指令:用户希望机器人完成的任务。

输出则不仅包含硬件可以执行的动作,还可以包含未来视频或其内部表示,用来引导动作生成。

Jason 将这一过程类比为视觉与物理空间中的“思维链”:模型先预测世界可能如何变化,再据此生成动作。他认为,这种架构有助于改善操作灵巧性、鲁棒性,以及面对陌生环境时的泛化能力。这是团队对技术路线的判断,不应直接视为已经覆盖所有场景的验证结论。

百万小时人类视频,试图缓解机器人数据瓶颈

Dyna 表示,Dyna-2 使用超过 100 万小时的人类视频进行预训练。团队还声称,在跨越四个数量级的人类数据规模实验中,观察到了相关扩展规律。

这一路线试图回答一个关键问题:机器人能否从大量人类活动视频中学习物理世界的变化,再将这些知识迁移到自身动作控制上?

不过,人类视频与机器人操作数据并不等价。视频提供视觉线索,而机器人控制还需要结合关节状态、执行器能力和具体硬件。Dyna 的模型输入设计也体现了这种差别:视觉之外,机器人必须理解并利用自身状态。

访谈还涉及第一视角视频、机器人示范、跨形态迁移、仿真环境和合成数据,但现有文字未提供足够的实验细节,无法据此比较各类数据的实际贡献。

从单次操作走向小时级工作流

Dyna 对 Dyna-2.1 的定位,是将新型半人形硬件与围绕 Dyna-2 构建的智能体系统结合,用于执行长时间、多步骤的现实任务。

这里需要区分两个层次:

  1. 动作能力:能否完成抓取、折叠等具体操作;
  2. 工作流能力:能否持续执行一系列任务,并在出错后恢复。

作为可靠性案例,团队介绍了连续 24 小时折叠餐厅餐巾、成功率达 99.4% 的表现,其中包括拉倒整叠餐巾后恢复工作的情况。

这一数字应限定在所描述的任务与测试条件内。现有文字没有交代成功率的具体统计口径、人工介入次数或完整评估协议,因此不能将它等同于通用机器人在任意环境中的可靠性。

商业部署与硬件约束同样重要

Dyna 介绍了机器人在鼎泰丰执行餐巾折叠工作的部署情况,并称其每天处理数千张餐巾。Jason 也谈到,在部分新任务中,机器人可以通过少至 45 分钟的示范进行学习;这一表述并不意味着所有任务都只需相同训练量。

硬件方面,Dyna 选择自研轮式半人形机器人,而非直接采用现成的双足平台。团队讨论的工程问题还包括端侧推理、模型蒸馏、实时控制,以及灵巧手发热和感知信息不足等限制。

这些内容说明,Dyna 的路线并不只是一项模型架构选择,也涉及硬件、控制系统和实际部署的协同。

如何判断这条路线的进展

Dyna-2 值得关注的技术主张,是把未来状态预测纳入动作生成;Dyna-2.1 则进一步把评估重点推向长时间自主工作。

阅读这类机器人进展时,需要把模型能力、特定任务成绩和商业部署规模分开看。连续折叠餐巾是具体场景中的能力展示,而更广泛的通用性,还需要跨任务、跨环境的评估,以及更透明的人工介入和故障恢复记录来判断。

评论

请登录后发表观点

暂无数据