训练loss

[Ranking666]

请问会有训练代码放出来吗？

[bestlee666]

同问

[w1oves]

由于我已经更换了工作地点，并且我们的训练代码针对内部的平台和显卡做了针对性的优化，因此短时间内难以整理 release。
现在提供一些信息，希望能够帮助到你：

1. 我们使用标准的 open_clip 进行训练，对于 ViT-Large，我们使用 Deepspeed 进行加速。
2. 我们使用标准的 contrastive learning 作为 loss，加上文章中提到的两个额外的损失。
3. 我们使用的超参数和 paper 中一致，如果有任何超参数或者细节的实现方式不清楚的，欢迎随时咨询。