之前弄的python环境太多了,下混了都,下包的环境和pycharm运行的环境都不是一个。。。

安装必要依赖

根据所使用模型类型,安装相应的LangChain包。

如果模型兼容OpenAI接口:

1
pip install langchain langchain-openai

如果使用Ollama模型:

1
pip install langchain langchain-ollama

(查看安装)pip show langchain-ollama

配置模型服务

确保本地模型服务已启动,并监听特定端口。例如:

Ollama 模型:运行以下命令启动服务:

1
2
ollama serve --model qwen2.5:3b
#不知道,没试过,我没敲

Llama.cpp 模型:启动服务时指定端口和地址:

1
/llama-server -m model.bin --port 50052 --host 0.0.0.0

在LangChain中调用模型

根据模型类型,使用不同的代码实现调用:

方法一:兼容 OpenAI 接口的模型

如果本地服务支持 OpenAI 接口(如 Llama.cpp),可以通过以下代码调用:

1
2
3
4
5
6
7
8
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
openai_api_base="http://127.0.0.1:50052", # 本地服务地址
openai_api_key="your_api_key", # 必须填写,随意字符串即可
model_name="your_model_name" # 模型名称
)
response = llm.invoke("你好,LangChain!")
print(response.content)

没试

方法二:Ollama 模型

如果使用 Ollama 模型,可通过以下代码调用:

1
2
3
4
5
6
7
from langchain_ollama import ChatOllama
llm = ChatOllama(
base_url="http://localhost:11434", # Ollama 服务地址
model="qwen2.5:3b" # 模型名称
)
response = llm.invoke("你好,LangChain!")
print(response)

撒花

现在已经调用本地的大模型了,接下来是创建一个代理。和刚刚调用不一样,代理就是Agent/智能体(自主使用工具、制定计划、解决复杂问题的智能系统)。代理像一个管家,能帮我们自动规划、推理决策。