作者您好,感谢你开源的代码,我是武汉大学的学生,第一次接触深度学习,在训练你的代码时,遇到许多问题,想请教一下。
1.训练时内存不足
我使用AutoDL平台,使用一张2080Ti进行训练,显存11G,内存40G,batchsize=8。每次在训练到第三个epoch时,就会由于内存超出而停止,原因是每个epoch保存了全部数据?
这是一张2080Ti,40G内存

随后我尝试两张2080Ti,80G内存,结果为第四个epoch内存超出

这是内存超出时的状态

我通过询问chatgpt,在每个epoch后加上 torch.cuda.empty_cache(),仍然无法解决问题,解决方法只有加大内存吗?作者在训练时,也是内存随着每个epoch逐步增加的吗,因为我对MonoUNI代码阅读并不完全,不知道是否有内存释放的代码。
2.多卡训练问题
同样是AutoDL平台,我使用4张2080TI,试图进行多卡训练,但是,偶尔会总是有gpu不工作(下面会解释)
在我使用4张卡时,gpu[0]和gpu[2]正常工作,gpu[1]和gpu[3]则是在报错后停止工作
报错为‘THCudaCheck FAIL file=/pytorch/aten/src/THC/THCCachingHostAllocator.cpp line=278 error=700 : an illegal memory access was encountered‘
下图为gpu工作的监控

随后我尝试两张卡,gpu[0]工作,gpu[1]不工作;三张卡,gpu[0]和gpu[2]工作,gpu[1]不工作。
这或许是我服务器的问题,因为我只用一张卡的时候,有时也会报同样的错误,换一张卡后该错误就不在了。
我想请问作者是否遇到过该问题
3. 地平面方程问题
Rope3d数据集中给出了地平面方程,但是dair-v2x路端数据集中并没有给出地平面方程,请问作者是如何解决这问题的。
我通过标签信息,使用车辆与地面的接触点,拟合地平面方程,可结果不尽人意
这是rope3d数据集中的地平面方程参数:0.008187128 -0.975265 -0.2208872 7.23388195038,并且同一个场景下的参数都相同
这是我自己生成的地平面方程参数:0.0026061970708190657 -0.9749178010425128 -0.22255004734901618 7.274439125314834
0.007552327858852356 -0.9749791380058083 -0.22216805135756798 7.290804489336864
......
每张不同的图片生成的地平面都不同,我想请问作者是如何解决在dair-v2x路端数据集训练时地平面方程的问题的
4. 深度立方体问题

我尝试根据论文生成这些立方体,但由于我的代码基础较差,遇到了不少困难。
请问作者能否给出这部分代码,不方便的话我就再努力尝试下orz
作者您好,感谢你开源的代码,我是武汉大学的学生,第一次接触深度学习,在训练你的代码时,遇到许多问题,想请教一下。
1.训练时内存不足
我使用AutoDL平台,使用一张2080Ti进行训练,显存11G,内存40G,batchsize=8。每次在训练到第三个epoch时,就会由于内存超出而停止,原因是每个epoch保存了全部数据?



这是一张2080Ti,40G内存
随后我尝试两张2080Ti,80G内存,结果为第四个epoch内存超出
这是内存超出时的状态
我通过询问chatgpt,在每个epoch后加上 torch.cuda.empty_cache(),仍然无法解决问题,解决方法只有加大内存吗?作者在训练时,也是内存随着每个epoch逐步增加的吗,因为我对MonoUNI代码阅读并不完全,不知道是否有内存释放的代码。
2.多卡训练问题
同样是AutoDL平台,我使用4张2080TI,试图进行多卡训练,但是,偶尔会总是有gpu不工作(下面会解释)

在我使用4张卡时,gpu[0]和gpu[2]正常工作,gpu[1]和gpu[3]则是在报错后停止工作
报错为‘THCudaCheck FAIL file=/pytorch/aten/src/THC/THCCachingHostAllocator.cpp line=278 error=700 : an illegal memory access was encountered‘
下图为gpu工作的监控
随后我尝试两张卡,gpu[0]工作,gpu[1]不工作;三张卡,gpu[0]和gpu[2]工作,gpu[1]不工作。
这或许是我服务器的问题,因为我只用一张卡的时候,有时也会报同样的错误,换一张卡后该错误就不在了。
我想请问作者是否遇到过该问题
3. 地平面方程问题
Rope3d数据集中给出了地平面方程,但是dair-v2x路端数据集中并没有给出地平面方程,请问作者是如何解决这问题的。
我通过标签信息,使用车辆与地面的接触点,拟合地平面方程,可结果不尽人意
这是rope3d数据集中的地平面方程参数:0.008187128 -0.975265 -0.2208872 7.23388195038,并且同一个场景下的参数都相同
这是我自己生成的地平面方程参数:0.0026061970708190657 -0.9749178010425128 -0.22255004734901618 7.274439125314834
0.007552327858852356 -0.9749791380058083 -0.22216805135756798 7.290804489336864
......
每张不同的图片生成的地平面都不同,我想请问作者是如何解决在dair-v2x路端数据集训练时地平面方程的问题的
4. 深度立方体问题
我尝试根据论文生成这些立方体,但由于我的代码基础较差,遇到了不少困难。
请问作者能否给出这部分代码,不方便的话我就再努力尝试下orz