Skip to content

关于pytorch训练无法收敛的问题 #130

Description

@hxb123622

作者您好,非常感谢您提供的这个非常棒的alpha go zero算法工程!感谢您能够百忙之中抽看去看我的问题:我使用pytroch去训练,发现loss值始终下降不下去,一直在6-7左右徘徊,不知到您是否有遇到过类似的问题?有什么解决的办法吗?(您在先前问题提到的explain_val=0的问题我也遇到过,但大部分情况都是有值的)

根据您往期的回答,您貌似是只在theano上完整训练过网络,我在使用该网络后得到了和您类似的loss曲线,所以我猜测是pytorch和theano的差异导致pytorch训练无法收敛。我将Theano训练出来的权重生成pytorch的权重文件拿来使用后,得到的结果仍然不理想,所以,是不是因为两者在前向传播的过程当中就存在不同?
我目前使用的版本是pytorch==1.12.0,cpu和gpu都试过,我还在pytroch==0.4.1上尝试过,但是还是没能解决问题。调试超参数貌似也不能很好的解决这个问题

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions