Qwen3.5-9B Lora训练Ppipeline

[shylockasr]

请问Roll 团队有计划支持Qwen3.5系列模型Lora训练吗？

[chocoded]

fsdp可以跑；megatron gdn部分optimizer保存有问题，需要加上save_only_model: true配置；deepspeed废弃中

[shylockasr]

请问有demo 训练pipeline配置吗？

[chocoded]

暂无，可以参考已有的配置lora pipeline进行修改

[shylockasr]

谢谢，我们尝试下。