相机内参

[Lx1517]

生成训练数据train_pbr时相机内参和最终测试用的相机内参可以不一样吗，
我训练了自己的数据集，测试结果发现位姿偏差有点儿大，请问有遇到过吗，我是相机内参的问题，还是需要继续训练（按照默认训练了50000步） #

[Lx1517]

以及在/HCCEPose/s2_p1_gen_pbr_data.py文件中

bproc.writer.write_bop(bop_parent_path,
                            target_objects = sampled_target_bop_objs,
                            dataset = dataset_name,
                            depth_scale = 0.1,
                            depths = data["depth"],
                            colors = data["colors"], 
                            color_file_format = "JPEG",
                            ignore_dist_thres = 10)
        

depth_scale必须是 0.1吗，为什么

[WangYuLin-SEU]

感谢你的提问。

1）关于相机内参
训练和测试阶段的相机内参是可以不同的，这在设计上是允许的，也是常见设置（训练使用合成数据内参，测试使用真实相机内参）。
但需要注意：推理阶段使用的相机内参必须与测试图像严格对应，否则会直接导致位姿估计出现明显偏差。

2）关于 depth_scale
这里设置为 0.1 主要是为了提高深度图的量化精度。
在以 uint16 格式存储时：

• depth_scale = 1 → 分辨率为 1 mm
• depth_scale = 0.1 → 分辨率为 0.1 mm

更小的 depth_scale 可以保留更细腻的深度信息，通常对位姿估计更有利。这个参数本身一般不会导致明显的位姿偏差问题。

3）关于你当前的位姿偏差问题
目前提供的信息还比较有限，比较难直接判断具体原因。可以考虑从以下几个方面排查：

（1）相机内参是否正确
请重点检查推理阶段使用的内参是否与测试数据完全一致（包括 fx, fy, cx, cy）。这是最常见的问题来源之一。

（2）渲染数据设置
如果你的物体是金属/弱纹理物体，建议在数据生成时开启：

• 随机基础颜色（base color）
• 金属度（metallic）和高光（specular）随机化
  否则模型容易过拟合单一外观，影响泛化。

（3）对称性问题
部分物体可能存在旋转对称性（例如近似二阶旋转对称）。这种情况下，即使视觉上“看起来对齐”，数值误差也可能较大。
建议检查 HCCE 编码的预测结果（例如可视化编码或统计错误率），判断是否存在对称性引起的歧义。

（4）训练是否充分
默认的 50000 步在大多数情况下是够用的，但如果数据分布较复杂，或者是新数据集，也可以尝试继续训练或观察 loss / 编码误差是否已经收敛。

如果方便的话，建议补充以下信息，有助于进一步定位问题：

• 训练过程中的日志（loss 或编码误差变化）
• HCCE 编码的可视化结果
• 测试结果示例（预测 vs GT 对比）
• PBR 渲染生成的训练数据图像（RGB）

PBR 渲染图像可以帮助判断渲染质量、材质设置以及是否存在明显的 domain gap 问题。

额外地，提供一个正确的效果图：

[Lx1517]

感谢你的回复！

• 训练过程日志log5.txt

• PBR 渲染生成的训练数据图像（RGB）

• 测试数据：我的camera内参是对的，因为我这是我前期foundationpose的保存的测试数据

000000_camK.json

• 数模

obj_000001.zip

• 测试结果

foundationpose微调结果 期待您的回复！

[WangYuLin-SEU]

感谢你的补充说明。

如果你观察到 HCCE 编码预测是正确的，但最终计算出的位姿存在较大偏差（例如约 90°），这种情况通常不是训练不充分导致的，而更可能是模型或坐标系不一致的问题。

建议优先检查以下几点：

1）训练和推理是否使用了同一个物体模型
请确认在生成 PBR 数据时使用的 mesh，与推理阶段用于位姿计算的 mesh 是完全相同的文件。

2）模型坐标系是否一致
即使是同一个物体，如果存在坐标系差异（例如轴方向不同、额外旋转、Y-up/Z-up差异等），也可能导致固定角度的偏差（例如90°或180°）。

此外，关于PBR 渲染时的材质设置
不建议使用纯黑色或无颜色的模型进行渲染。通常建议使用随机灰度进行材质设置，以提供一定的外观变化。类似地，FoundationPose 等方法中通常也使用灰色或无纹理的模型，而不是纯黑色模型。

额外检查了一下，深度图的设置也是合理，不会导致微调出现错误。

[Lx1517]

感谢你的补充说明。

如果你观察到 HCCE 编码预测是正确的，但最终计算出的位姿存在较大偏差（例如约 90°），这种情况通常不是训练不充分导致的，而更可能是模型或坐标系不一致的问题。

建议优先检查以下几点：

1）训练和推理是否使用了同一个物体模型 请确认在生成 PBR 数据时使用的 mesh，与推理阶段用于位姿计算的 mesh 是完全相同的文件。

2）模型坐标系是否一致 即使是同一个物体，如果存在坐标系差异（例如轴方向不同、额外旋转、Y-up/Z-up差异等），也可能导致固定角度的偏差（例如90°或180°）。

此外，关于PBR 渲染时的材质设置 不建议使用纯黑色或无颜色的模型进行渲染。通常建议使用随机灰度进行材质设置，以提供一定的外观变化。类似地，FoundationPose 等方法中通常也使用灰色或无纹理的模型，而不是纯黑色模型。

额外检查了一下，深度图的设置也是合理，不会导致微调出现错误。

作者，你好，感谢您的耐心回复，以下是我重新生成数据并训练模型后的推理结果：

虽然没有上次那么大的偏差，但是这个结果图看着还是有问题，foundationpose微调后 mask,render contour和candidate box 的框都没有重合，而且得分最高的candidate box与实物位姿也有点偏，请问是什么原因呢，你们在训练推理过程中有遇到吗

[WangYuLin-SEU]

好消息，方便描述一下具体修改了哪些内容吗（例如是否更换了 3D Mesh）？这些修改是如何让包围盒与物体更加对齐的？

从目前的现象来看，我仍然倾向于认为问题与 3D Mesh 的坐标系定义有关。通常情况下，HccePose(BF) 推理得到的初始位姿在可视化后，会与物体外轮廓基本对齐，即使存在误差，也很少出现特别大的偏差，尤其是在 HCCE 编码预测质量较好的情况下。

因此，如果编码预测本身已经比较正确，但最终位姿出现固定角度偏差或包围盒明显不对齐，通常更像是：

• Mesh 坐标系定义不一致

• 推理时使用了不同版本的模型

• 或模型在导出/转换过程中被额外旋转了

[Lx1517]

具体改动：

• 确保使用同一个mesh （训练和推理是引用的是同一个文件夹下的数模，而且导出以后没有更改过）

• 生成数据集时按照你的建议进行了一定的修改

那我再检查一下吧

[WangYuLin-SEU]

我重新看了一下你提供的 log，发现训练阶段在 PBR 数据上的评估结果已经是异常的，所以我才倾向于认为问题并不只是测试阶段造成的。

如果是同源的 PBR 训练/评估数据，正常情况下评估结果不应该接近 0%。在 HCCE 编码预测看起来正常的情况下，更需要重点排查数据生成、标签生成和评估阶段使用的 3D mesh 是否完全一致。

建议重点检查：

• 生成 PBR 数据时使用的 3D mesh

• 生成 HCCE 标签时使用的 3D mesh

• 训练阶段评估时加载的 3D mesh

这些 mesh 的尺寸、单位、中心点和坐标系是否完全一致

如果这些环节中加载的 mesh 不一致，即使 HCCE 编码预测看起来正确，最终 PnP 位姿和评估结果也可能明显异常。