CPM-o4.5可以在ARC PRO B60上跑吗？

[HeliumZZZU]

担心CPM的语音部分在i卡上不能正常工作

[tc-mb]

@HeliumZZZU 感谢提问！

MiniCPM-o 4.5 理论上可以通过 llama.cpp-omni 跑在 ARC PRO B60 上。

支持情况：llama.cpp-omni 的 SYCL 后端已支持 Battlemage (BMG G21) 架构，B60 架构上应该可以工作，但尚未在 B60 上实测过。

显存：Q4_K_M 量化版在 RTX 4090 上实际占用 11GB 左右，B60 有 24GB VRAM，够用。

速度：实时语音对话大概率没问题，但整体会比 NVIDIA 卡慢。

有问题欢迎继续交流。