安装 LLaMA Factory ,这里使用源代码安装使用 0.9.3 版本
conda create -n llm python=3.10
conda activate llm
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
wget -c https://github.com/hiyouga/LLaMA-Factory/archive/refs/tags/v0.9.3.zip
cd LLaMA-Factory-0.9.3/
pip install -e ".[torch,metrics]" --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple
# 使用modelscope , 下载模型
pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
export USE_MODELSCOPE_HUB=1 && llamafactory-cli webui国内启动使用,比较方便下载模型
export USE_MODELSCOPE_HUB=1 && llamafactory-cli webui