介绍未来预测参与动作选择、执行反馈和重新规划的基本系统结构。
前置知识： 动作条件预测、世界模型。
使用步骤： 定义动作空间和任务目标 → 连接预测、规划与执行接口 → 在独立环境中验证决策收益。
World Action Model（WAM，世界—动作模型）关心的核心不是“能否生成一段看起来合理的视频”，而是更严格的问题：系统能否把当前观测、候选动作与未来后果联系起来，并在真实反馈到来后修正下一步行动？
如果视频生成回答“接下来可能看到什么”，WAM 还要回答“如果我做 A 而不是 B，会发生什么；我应据此做哪一步；发现预测错了以后怎样重规划”。这使它成为连接视频生成、世界模型、机器人控制与交互式环境的重要概念。
本章是教学导览与研究综述的结合：先建立最小概念框架，再将读者引向已有的世界模型、动作条件预测与交互式世界生成专题。技术事实、论文版本与证据等级请以这些专题及其研究日志为准。
读完本章后，你应能：
- 用“动作是否进入未来预测、预测是否影响决策、决策是否接受反馈”三个问题判断一个系统是否接近 WAM；
- 区分视频生成、视频预测、世界模型、动作条件预测、交互式世界生成与 WAM；
- 说明观察、状态、动作、rollout、验证与重规划在闭环中的作用；
- 理解动作条件视频、latent world model、游戏/具身模拟、视频基础模型和交互环境五类研究路线；
- 设计不止评测画面质量、还能检验动作因果与闭环效用的实验。
设想机器人面对一扇半开的门。它可以向左推、向右拉，或先后退观察门轴和把手。一个普通视频生成器可以生成“门被打开”的视觉片段；但要成为 WAM，系统至少要区分不同动作产生的后果：
- 向错误方向施力时，门可能卡住、反弹，或遮挡视野；
- 门轴、摩擦和障碍物使同一个动作并不总有同一种结果；
- 预测到碰撞或失败时，系统应改变动作，而不是继续渲染一个看似流畅的未来；
- 新的相机画面到来后，系统要用它校正自己的状态估计并再次规划。
因此，WAM 的价值不在于“想象得更漂亮”，而在于它能否让想象参与决策并接受证伪。
| 概念 | 典型输入与输出 | 核心目标 | 最低证据 | 仍不能推出什么 |
|---|---|---|---|---|
| 视频生成 | 文本、图像或视频条件 → 视频 | 合成视觉上合理的时空样本 | 画质、运动、多样性 | 懂得动作因果或能控制环境 |
| 视频预测 | 过去帧 → 未来帧 | 外推视觉演化 | 多步预测与时间一致性 | 不同动作会导致不同未来 |
| 动作条件预测 | 历史观测 + 动作 → 未来观测/状态 | 学习动作相关的状态转移 | 同状态不同动作的分支预测 | 会选择有益动作 |
| 世界模型 | 状态/观测 + 动作 → 潜变量、奖励、价值或观测 | 支持想象、规划或策略学习 | 预测与任务相关状态可用 | 一定能渲染人可读视频 |
| 交互式世界生成 | 外部动作 → 连续可控观测流 | 提供可操作环境 | 动作响应、长时状态、低延迟 | 对真实物理或真实机器人可靠 |
| World Action Model | 观测/目标 ↔ 动作与未来 rollout | 用未来预测产生、筛选或修正动作 | 预测—决策—反馈在同一闭环中成立 | 开放世界泛化、因果识别或安全部署 |
一个实用判据是连续问三个问题：
- 动作进入模型了吗？ 若动作不改变预测，系统多半只是在建模自然视频先验。
- 预测影响动作了吗？ 若未来视频只是展示结果，尚未形成基于模型的行动。
- 真实反馈能推翻预测吗？ 若系统不在新观测下更新，长期 rollout 很容易积累误差并变成自我循环的幻觉。
用
不需要每个 WAM 都精确实现这套公式，但每一项对应一个不能省略的系统问题：
| 环节 | 要回答的问题 | 常见失效 |
|---|---|---|
| 观察与状态 | 当前哪些对象、接触、目标与历史必须被记住？ | 只记像素、不记遮挡后的对象或任务进度 |
| 动作对齐 | 动作的坐标、时长、延迟和执行器语义是什么？ | 训练动作与部署动作不在同一时间轴或坐标系 |
| 多分支 rollout | 哪些候选未来值得比较？不确定性怎样表示？ | 只选一条“最好看”的未来，忽略失败分支 |
| 评分与约束 | 成功、风险、碰撞、能耗和时间如何权衡？ | 只优化模型内奖励，产生 model exploitation |
| 验证与重规划 | 什么观测会触发停止、校正或重新搜索？ | 长期相信错误预测，误差持续放大 |
这里的“世界”不必等同于完整物理现实。对游戏 agent，它可能是可见地图、角色状态、动作和奖励；对机器人，它还要包含对象几何、接触、相机、执行器约束与安全边界。关键不在状态是否“全”，而在它是否足以支持所声称的行动任务。
这条路线把动作明确放入下一帧或下一段视频预测。它适合研究视觉后果、动作敏感性和反事实分支，但不自动包含规划器。核心实验不应只问“预测视频像不像”，还应固定同一初始状态、替换不同动作，并检查差异是否与真实环境一致。详见动作条件预测。
World Models、PlaNet、Dreamer、MuZero 和 TD-MPC 都使用潜在状态支持预测或决策，但训练目标不同。World Models、PlaNet 及部分 Dreamer 实现使用观测重建学习表示；MuZero 和 TD-MPC 的核心目标侧重任务相关的潜在转移、奖励与价值。是否在潜空间规划和是否用像素重建训练，是两个独立问题。它们的优点是 rollout 快、可接搜索或 actor-critic；风险是 latent 可能遗漏人类可见但任务相关的错误，或被策略利用。详见世界模型。
GameNGen、DIAMOND、Oasis、Genie 系列和驾驶/机器人视觉模拟器把动作条件生成推进到可持续交互。它们让 FPS、动作延迟、场景切换、状态回访、自由 rollout 稳定性成为可测量指标。应谨慎区分“可玩的生成界面”和“可用于可靠规划的环境模型”。
大规模视频模型可以带来物体、运动和常识的强先验，也可能在给定首帧和指令时展示多步视觉操作。但没有清晰动作语义、可重复干预实验和闭环任务评测时，它们更准确的表述是行动相关的视觉先验，而不是已经可部署的 WAM。相关能力边界可参阅视频推理。
这一方向关注键鼠、机器人动作或高层指令如何驱动持续生成的世界，以及世界如何保持状态、接收新事件、允许回访。它与 WAM 的交集最大，但仍应分开评测：界面交互、视觉连续性、状态正确性、动作可控性、策略训练收益和现实迁移是不同证据层。详见交互式世界生成。
WAM 应分别评测以下项目。下表使用项目名称；与其他章节比较时，采用评测指南定义的 L0–L7 报告约定。
| 证据层 | 要验证的声明 | 例子 | 主要误区 |
|---|---|---|---|
| 视觉合理性（L0–L2） | 生成画面自然、连续 | 人评、FVD、时序一致性 | 画面好看不等于受动作控制 |
| 动作敏感性（L3） | 不同动作产生可区分后果 | 固定状态、替换动作 | 数据相关性可能伪装成因果效应 |
| 短期反事实（L4） | 预测的动作差异与真实分支一致 | 同状态异动作的成对测试 | 只报告有利动作，不报告失败分支 |
| 交互中的长时状态（L5） | 关键对象、任务进度与约束在多步后仍正确 | 回访、遮挡、场景切换 | 逐帧指标掩盖长期漂移 |
| 规划效用（L6–L7） | 用模型选择的动作在外部环境更好 | MPC/搜索对照、return | agent 可能利用模型漏洞 |
| 稳健与安全（各层均需测量） | 分布外、延迟、扰动与风险下仍有可控退化 | OOD、碰撞、停止门 | 平均成功率掩盖高代价失败 |
一个可信实验至少需要：冻结的初始状态集、动作配对、外部环境真值或独立验证器、与无模型/错误模型/短视策略的对照，以及失败类型统计。对机器人或高风险环境，还必须把安全约束放在“生成是否逼真”之前。
下面的问题可以把“我想做 WAM”转化为可验证研究：
- 动作语义从哪里来？ 是真实控制标签、潜动作、语言动作，还是跨 embodiment 映射？它们能否被外部校验？
- 状态中保留什么？ 任务相关对象、接触关系、长期记忆、相机位姿与不确定性是否被明确表示？
- 模型如何参与决策？ 是 imagine-then-execute、候选动作筛选、视频特征条件化策略、联合视频—动作生成，还是 auxiliary prediction？
- 什么时候不应相信 rollout？ 能否由置信度、OOD 检测、约束违反或验证器触发停止与重规划？
- 最终收益在哪里测量？ 是否在独立 simulator、真实环境或封存测试任务上优于无模型基线？
一个最小而严谨的项目通常比“大而全的世界模拟器”更有研究价值：先选定单一动作空间和可测目标，建立同状态异动作数据，验证短期反事实，再逐步加入长时记忆、规划与真实闭环。
- 先读动作条件预测，理解“动作改变未来”这一基本要求；
- 再读世界模型，比较 latent dynamics、想象、规划和策略学习；
- 阅读交互式世界生成，把动作频率、状态持久性和环境接口放入系统视角；
- 最后回到视频推理与物理一致性，检查视觉推理和物理主张所需的额外证据。
World Action Model 的核心不是给视频模型增加“世界”或“动作”的标签，而是建立一个可被检验的闭环：观察世界、预测不同动作的后果、依据后果行动、用新观测纠正预测。当系统只会生成未来，它仍是生成模型；当它能够在独立环境中因更好的未来预测而做出更好的决策，才开始接近 WAM 的研究承诺。