MoBE压缩后模型的LoRA微调

[Javen-7]

感谢开源优秀的工作！
请问经过MoBE方法压缩后的模型，是否支持LoRA微调呢？你们是否有做相关实验呢？

[chenxiaodong2002]

主要问题是没有kernel支持，forward会非常慢

[Javen-7]

主要问题是没有kernel支持，forward会非常慢

好的谢谢！我目前先在小一点的MoE模型上做做实验。

[chenxiaodong2002]

主要问题是没有kernel支持，forward会非常慢

好的谢谢！我目前先在小一点的MoE模型上做做实验。

小的也会非常非常慢，而且在instruct模型上做sft会掉点，因为开源的sft数据和模型厂商的sft数据有差距

[Javen-7]

主要问题是没有kernel支持，forward会非常慢

好的谢谢！我目前先在小一点的MoE模型上做做实验。

小的也会非常非常慢，而且在instruct模型上做sft会掉点，因为开源的sft数据和模型厂商的sft数据有差距

训练速度感觉还行呀 没有慢特别多。但目前实验下来确实会掉点...

[chenxiaodong2002]

主要问题是没有kernel支持，forward会非常慢

好的谢谢！我目前先在小一点的MoE模型上做做实验。

小的也会非常非常慢，而且在instruct模型上做sft会掉点，因为开源的sft数据和模型厂商的sft数据有差距

训练速度感觉还行呀 没有慢特别多。但目前实验下来确实会掉点...

没有慢特别多是因为你没用高效kernel，对比的应该是hf的for循环moe吧。掉点这个你可以试试在base模型上做，然后用pretrain数据训练。

[Javen-7]

主要问题是没有kernel支持，forward会非常慢

好的谢谢！我目前先在小一点的MoE模型上做做实验。

小的也会非常非常慢，而且在instruct模型上做sft会掉点，因为开源的sft数据和模型厂商的sft数据有差距

训练速度感觉还行呀 没有慢特别多。但目前实验下来确实会掉点...

没有慢特别多是因为你没用高效kernel，对比的应该是hf的for循环moe吧。掉点这个你可以试试在base模型上做，然后用pretrain数据训练。

还真是 目前只用了hf的moe。请问这个正常的moe在哪里可以使用（以及自定义）高效kernel呢？是vllm吗？

[chenxiaodong2002]

主要问题是没有kernel支持，forward会非常慢

好的谢谢！我目前先在小一点的MoE模型上做做实验。

小的也会非常非常慢，而且在instruct模型上做sft会掉点，因为开源的sft数据和模型厂商的sft数据有差距

训练速度感觉还行呀 没有慢特别多。但目前实验下来确实会掉点...

没有慢特别多是因为你没用高效kernel，对比的应该是hf的for循环moe吧。掉点这个你可以试试在base模型上做，然后用pretrain数据训练。

还真是 目前只用了hf的moe。请问这个正常的moe在哪里可以使用（以及自定义）高效kernel呢？是vllm吗？

megablock吧，或者这个https://github.com/woct0rdho/transformers-qwen3-moe-fused用起来可能比较方便。

[Javen-7]

主要问题是没有kernel支持，forward会非常慢

好的谢谢！我目前先在小一点的MoE模型上做做实验。

小的也会非常非常慢，而且在instruct模型上做sft会掉点，因为开源的sft数据和模型厂商的sft数据有差距

训练速度感觉还行呀 没有慢特别多。但目前实验下来确实会掉点...

没有慢特别多是因为你没用高效kernel，对比的应该是hf的for循环moe吧。掉点这个你可以试试在base模型上做，然后用pretrain数据训练。

还真是 目前只用了hf的moe。请问这个正常的moe在哪里可以使用（以及自定义）高效kernel呢？是vllm吗？

megablock吧，或者这个https://github.com/woct0rdho/transformers-qwen3-moe-fused用起来可能比较方便。

好的感谢耐心回复！我学习一下。