目前 LLM 模块通过 base_url 可以接任何 OpenAI-compatible API(包括本地 Ollama),但没有专门的本地模型配置指南。 建议: - 添加 `LLM(model="llama3.2", base_url="http://localhost:11434/v1")` 的使用文档 - 考虑增加 `LocalLLM` 子类简化配置 这是个讨论帖,欢迎大家给意见。
目前 LLM 模块通过 base_url 可以接任何 OpenAI-compatible API(包括本地 Ollama),但没有专门的本地模型配置指南。
建议:
LLM(model="llama3.2", base_url="http://localhost:11434/v1")的使用文档LocalLLM子类简化配置这是个讨论帖,欢迎大家给意见。