☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
langchain调用本地大模型有四种方式：一、ollama api（http接口，轻量验证）；二、vllm openai兼容api（高并发生产环境）；三、huggingfacepipeline（离线直连，内存占用高）；四、自定义llm类（适配任意非标http服务）。
如果您希望在不依赖云端服务的前提下，让langchain调用本地运行的大模型，则需将langchain与本地推理服务进行协议级对接。以下是实现该目标的多种可行路径：
一、通过Ollama API连接本地模型
Ollama提供标准化HTTP接口（默认端口11434），LangChain可通过langchain_community.llms.ollama模块直接通信，无需额外部署中间服务，适合快速验证和轻量级应用。
1、确保Ollama已安装并后台运行，执行ollama list确认至少一个模型（如qwen3:8b）处于可用状态。
2、安装LangChain Ollama支持模块：pip install langchain-community。
3、在Python中初始化Ollama LLM实例：llm = Ollama(model="qwen3:8b", base_url="http://localhost:11434")。
4、发起调用：llm.invoke("请用中文简要介绍LangChain的核心设计理念")。
二、通过VLLM OpenAI兼容API连接本地模型
VLLM启动的服务完全复刻OpenAI REST API规范，LangChain可直接复用ChatOpenAI类，仅需调整base_url与model名称，适用于需要高并发、低延迟生产环境的场景。
1、使用VLLM启动服务，指定本地模型路径与端口：python -m vllm.entrypoints.openai.api_server --model ~/models/deepseek-r1 --port 18000 --host 0.0.0.0。
2、验证服务可用性：curl http://localhost:18000/v1/models，确认返回包含"id": "deepseek-local"。
3、安装LangChain OpenAI集成包：pip install langchain-openai。
4、初始化客户端：llm = ChatOpenAI(base_url="http://localhost:18000/v1", api_key="not-needed", model="deepseek-local")。
三、通过HuggingFacePipeline直连本地transformers模型
该方式绕过HTTP服务层，直接在Python进程中加载模型与tokenizer，适用于无GPU服务器或对网络调用有严格限制的离线环境，但会显著增加内存占用与冷启动延迟。
1、安装依赖：pip install transformers torch accelerate。
2、下载模型至本地（如Qwen/Qwen2.5-1.5B-Instruct），确保可离线访问。
3、构建pipeline实例：pipe = pipeline("text-generation", model="Qwen/Qwen2.5-1.5B-Instruct", device_map="auto")。
4、封装为LangChain兼容接口：llm = HuggingFacePipeline(pipeline=pipe, model_kwargs={"max_new_tokens": 512})。
四、通过自定义LLM类对接任意本地HTTP服务
当本地模型服务采用非标准协议（如TGI、Text Generation Inference）或需定制请求头、认证逻辑时，可继承langchain_core.language_models.llms.BaseLLM，重写_call方法实现完全可控的通信逻辑。
1、创建子类并定义_call方法，内部使用requests.post向http://localhost:8080/generate发送JSON payload。
2、在请求中注入Authorization头与Content-Type: application/json。
3、解析响应体中的generated_text字段并返回字符串结果。
4、实例化该类：llm = CustomTGIModel(model_url="http://localhost:8080/generate", api_token="secret-token")。
大量免费API接口：立即使用
涵盖生活服务API、金融科技API、企业工商API、等相关的API接口服务。免费API接口可安全、合规地连接上下游，为数据API应用能力赋能！
