接入大模型
之前弄的python环境太多了,下混了都,下包的环境和pycharm运行的环境都不是一个。。。
安装必要依赖
根据所使用模型类型,安装相应的LangChain包。
如果模型兼容OpenAI接口:
1 | pip install langchain langchain-openai |
如果使用Ollama模型:
1 | pip install langchain langchain-ollama |
(查看安装)pip show langchain-ollama
配置模型服务
确保本地模型服务已启动,并监听特定端口。例如:
Ollama 模型:运行以下命令启动服务:
1 | ollama serve --model qwen2.5:3b |
Llama.cpp 模型:启动服务时指定端口和地址:
1 | /llama-server -m model.bin --port 50052 --host 0.0.0.0 |
在LangChain中调用模型
根据模型类型,使用不同的代码实现调用:
方法一:兼容 OpenAI 接口的模型
如果本地服务支持 OpenAI 接口(如 Llama.cpp),可以通过以下代码调用:
1 | from langchain_openai import ChatOpenAI |
没试
方法二:Ollama 模型
如果使用 Ollama 模型,可通过以下代码调用:
1 | from langchain_ollama import ChatOllama |
撒花
现在已经调用本地的大模型了,接下来是创建一个代理。和刚刚调用不一样,代理就是Agent/智能体(自主使用工具、制定计划、解决复杂问题的智能系统)。代理像一个管家,能帮我们自动规划、推理决策。
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 桐の小窝!
评论
