感谢开源这个启发性的工作，请问能否通过几何引导的 Attention 注入与少量微调，轻量化实现长序列回环检测（Loop Closure）？

[hxypqr]

感谢团队开源这个极具启发性的工作！阅读论文后，我有一个关于如何将该能力扩展到回环检测（Loop Closure，即相机轨迹绕回原点）的问题。传统 SLAM 通常把回环检测当作一个纯数学的后端“图优化”任务，这意味着几何一致性本身是可以通过轨迹和观测联合求解的。

在 Fantasy World 的双分支架构下，Wan2.1 的前 16 层潜空间已经保留了很好的空间位置关系，且本模型已经能预测出隐式的 3D 几何场（深度、点云）。在SFT训练充分的现有模型基础上，我们能否尽量避免引入全新的沉重训练模块比如为回环检测单独设置一个分支，而是通过在推理时动态操控 Attention 引导，配合少量回环数据微调或者完全自监督的方式做RL来实现相机轨迹绕回原点的一致性？
具体的设想思路如下：

历史特征的 3D 引导：利用解算出的相对位姿，将历史帧 $y$ 的特征对齐/重投影到当前帧 $x$ 的视角下。
对任意x，y大于等于0小于等于81，相机轨迹中几何解算x帧 $Pose_x$ 与y帧 $Pose_y$ 之间的位姿变换（旋转和平移的复合）。然后把解算后对齐的历史特征互相引导，也就是每个step的过程中x帧上有一个从0到81的y帧和x帧的相对位置关系的attention层的积分以一个可调整的参数g(x,y)强度直接叠加或注入到x帧的 Attention 层中作为强引导（Guidance）。这个可调整的参数g(x,y)和x帧 $Pose_x$ 与y帧 $Pose_y$ 之间的位姿变换有关，如果位姿变换距离I越近这个强度越高。 ————————————————（*）

Attention 层注入：在降噪的 step 过程中，将对齐后的历史特征（可以是整个 0 到 81 帧中相关性较高的特征聚合）直接叠加或注入到帧 $x$ 的 Attention 层中作为强引导（Guidance）。

这种 Attention 操控的做法，本身逻辑上类似于 Wan2.1 的免训练编辑工作：Awesome-Training-Free-WAN2.1-Editing。

[daiyixiang666]

没有完全理解您的意思

将历史帧 y 的特征对齐/重投影到当前帧 x 的视角下。

这里的y 应该跟 x 是不同chunk生成的吗？

对任意x，y大于等于0小于等于81

然后这里的x，y是指同一个chunk下 不同帧吗？

[hxypqr]

您好，刚刚看到这条回复。我之前花了一些时间试着部署了一下这个项目并没有成功，报错显示有几层参数有丢失。所以我是基于这个研究项目的主页里面的例子考虑这个问题，我发现主页里面给出的例子里并没有在一个81帧的chunk里面让相机镜头完整转360度的例子，而有一些室外场景镜头旋转的速度很快的时候似乎输出的视频和用点云还有深度图重建的3D场景也有一些不稳定，比如火车那个视频。另外第二个视频里面桥的位置在第一次出现的时候和第二次出现的时候方向差距比较大。

我现在考虑的问题完全在一个chunk内。在一个chunk内这种相机运动速度很快的场景下，或者出现了有回环的情况下。能否提升生成的视频的一致性？

通过chunk内的第0帧到第80帧中的任意两帧x，y的相机位置和深度图还有点云图的输出让这些输出通过相机轨迹位姿变换解算出来后，也就是放在同一个相机位置下在他们的视场角/视野范围的相交的部分是对齐的，这个对齐的过程就是一个取平均的过程，按照（*）的方法取平均。这里有一种免训练的方法类似[Awesome-Training-Free-WAN2.1-Editing]就是把得到的平均的结果加到冻结的PCB层也就是wan2.2的前16层（可能需要解冻PCB的后面几层把引导加进潜空间，因为这种回环对齐不完全是高频的细节，比如桥的方向，需要对低频部分有一些改动）引导整个模型进行第二次生成，第二次生成的时候因为PCB有了这个平均信号引导模型生成的视频可能更具备相机运动速度很快和回环情况下的一致性。但是这个方法效果不一定好，依赖于底模的attention层对不同对象解耦能力是否强。

如果做后训练的话reward function大概可以长这个样子

$$\mathcal{L}_{total} = \sum_{x=0}^{N-1} \sum_{\substack{y=0 \\ y \neq x}}^{N-1} \lambda_{x,y} \Big[ \alpha \mathcal{L}_{L1}(x,y) + \beta \mathcal{L}_{percept}(x,y) \Big] + \gamma \sum_{x=0}^{N-1} \mathcal{L}_{GAN}(x)$$

其中，对于输入的第0帧图片，文字描述和相机轨迹，先跑一遍整个模型，然后把拿到的深度图（Depth）、点云图（Point Maps）和相机position，引入一个奖励用于后训练。
在一个chunk内

• 帧索引： 设 $x, y \in {0, 1, \dots, N-1}$（这里 $N=81$）。
• 绝对相机位姿： 设 $T_x, T_y \in SE(3) \cong \mathbb{R}^3 \rtimes S O(3)$ 分别表示第 $x$ 帧和第 $y$ 帧的绝对位姿。它们之间的相对位姿变换为 $\Delta T_{x \to y} = T_y^{-1} T_x$。
• 3D 重投影（Warping）： 利用预测的深度 $D_x$、视场角（FOV）以及相对位姿，我们可以将生成的图像 $I_x$ 投影（Warp）到 $y$ 帧的视角下。设 $\mathcal{W}$ 为重投影函数：

$$\hat{I}_{x \to y} = \mathcal{W}(I_x, D_x, \Delta T_{x \to y}, FOV)$$

• 可见性遮罩（Visibility Mask）： 设 $M_{x \to y} \in {0, 1}^{H \times W}$ 为一个二值化遮罩，仅在投影后的像素有效且双向可见的位置取 1，其余位置取 0。

为了对齐回环，对齐权重$\lambda_{x,y}$可以设置成与 $SE(3)$ 空间中的绝对物理距离成反比，可能也有更好的方法让$\lambda_{x,y}$可以在训练过程中自适应。

至于不同 chunk 之间怎么做回环我没有清晰的想法。因为 Wan 2.2 底模本身存在 81 帧的物理限制，可能的想法是因为每个chunk都要输入轨迹，所有的轨迹接起来之后就可以知道要生成的帧和历史生成的所有帧在$SE(3)$ 中的距离，把之前所有chunk 中能看到要生成帧的那些帧的潜空间$\Delta T_{x \to y} $变换后加到当前正在生成的 chunk 的潜空间中，以此去引导这一帧的生成。但这种方法非常依赖底模 DiT 的 Attention 层对不同对象的解耦能力，而且忽略了不同帧之间时间上的变化。