FileNotFoundError: Could not find a model in Llama2-Chinese-13b-Chat-4bit with a name in gptq_model-4bit-128g.safetensors.index.json, gptq_model-4bit-128g.safetensors, model.safetensors.index.json, model.safetensors. Please specify the argument model_basename to use a custom file name.
文件夹里有的是gptq_model-4bit-128g.bin,是早期格式,估计现在的transformer已经不支持这一格式了,只能支持.safetensors格式,然后就出问题了,希望可以及时更新文件格式。
FileNotFoundError: Could not find a model in Llama2-Chinese-13b-Chat-4bit with a name in gptq_model-4bit-128g.safetensors.index.json, gptq_model-4bit-128g.safetensors, model.safetensors.index.json, model.safetensors. Please specify the argument model_basename to use a custom file name.
文件夹里有的是gptq_model-4bit-128g.bin,是早期格式,估计现在的transformer已经不支持这一格式了,只能支持.safetensors格式,然后就出问题了,希望可以及时更新文件格式。