Skip to content

许多训练的问题 #24

Description

@NoctisJOJO

作者您好,感谢你开源的代码,我是武汉大学的学生,第一次接触深度学习,在训练你的代码时,遇到许多问题,想请教一下。

1.训练时内存不足

我使用AutoDL平台,使用一张2080Ti进行训练,显存11G,内存40G,batchsize=8。每次在训练到第三个epoch时,就会由于内存超出而停止,原因是每个epoch保存了全部数据?
这是一张2080Ti,40G内存
image
随后我尝试两张2080Ti,80G内存,结果为第四个epoch内存超出
image
这是内存超出时的状态
image
我通过询问chatgpt,在每个epoch后加上 torch.cuda.empty_cache(),仍然无法解决问题,解决方法只有加大内存吗?作者在训练时,也是内存随着每个epoch逐步增加的吗,因为我对MonoUNI代码阅读并不完全,不知道是否有内存释放的代码。

2.多卡训练问题

同样是AutoDL平台,我使用4张2080TI,试图进行多卡训练,但是,偶尔会总是有gpu不工作(下面会解释)
在我使用4张卡时,gpu[0]和gpu[2]正常工作,gpu[1]和gpu[3]则是在报错后停止工作
报错为‘THCudaCheck FAIL file=/pytorch/aten/src/THC/THCCachingHostAllocator.cpp line=278 error=700 : an illegal memory access was encountered‘
下图为gpu工作的监控
image
随后我尝试两张卡,gpu[0]工作,gpu[1]不工作;三张卡,gpu[0]和gpu[2]工作,gpu[1]不工作。
这或许是我服务器的问题,因为我只用一张卡的时候,有时也会报同样的错误,换一张卡后该错误就不在了。
我想请问作者是否遇到过该问题

3. 地平面方程问题

Rope3d数据集中给出了地平面方程,但是dair-v2x路端数据集中并没有给出地平面方程,请问作者是如何解决这问题的。
我通过标签信息,使用车辆与地面的接触点,拟合地平面方程,可结果不尽人意
这是rope3d数据集中的地平面方程参数:0.008187128 -0.975265 -0.2208872 7.23388195038,并且同一个场景下的参数都相同
这是我自己生成的地平面方程参数:0.0026061970708190657 -0.9749178010425128 -0.22255004734901618 7.274439125314834
0.007552327858852356 -0.9749791380058083 -0.22216805135756798 7.290804489336864
......
每张不同的图片生成的地平面都不同,我想请问作者是如何解决在dair-v2x路端数据集训练时地平面方程的问题的

4. 深度立方体问题

image
我尝试根据论文生成这些立方体,但由于我的代码基础较差,遇到了不少困难。
请问作者能否给出这部分代码,不方便的话我就再努力尝试下orz

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions