Windows system怎么在本地部署Ollama运行开源大模型

胖敏吖_3687

胖敏吖_3687

2026-10-25

747人浏览

原创

windows本地部署ollama需指定非c盘安装路径并设置ollama_models环境变量指向d盘模型目录,再拉取qwen2.5:7b模型运行验证,最后通过api调用实现中文问答。

windows system怎么在本地部署ollama运行开源大模型

在Windows系统上本地部署Ollama运行开源大模型,需避开C盘爆满风险、绕过GitHub下载失败、确保模型能真正加载并响应提问,而不是卡在“pulling”或报错“GPU memory insufficient”。

下载与安装Ollama本体

访问 官方最新安装包地址,直接下载 OllamaSetup.exe。若 GitHub 访问失败,改用百度网盘备用链接:https://pan.baidu.com/s/5hQNkpPisOhXXg6ttn3VXpg--(提取码见分享页)。

双击运行 OllamaSetup.exe,默认安装会把程序本体写入 C 盘用户目录,但【模型文件默认存到 C:Users用户名.ollamamodels,极易填满系统盘】。这一步不做干预,后续拉取一个7B模型就可能让C盘红标告警。

为规避风险,推荐在安装前就指定非系统盘路径:将下载好的 OllamaSetup.exe 复制到 D:Ollama 文件夹,在该文件夹地址栏输入 powershell 并回车,执行命令:.\OllamaSetup.exe /DIR="D:\Ollama"。安装完成后,程序本体即落于 D:Ollama。

强制模型文件存到D盘(关键步骤)

打开“系统属性 → 高级 → 环境变量”,在“系统变量”区域点击“新建”:

变量名填 OLLAMA_MODELS,变量值填 D:OllamaModels(注意:路径必须全英文、无空格、【文件夹需提前手动创建好】)。

重启电脑或至少重启 Windows 终端(PowerShell/CMD),否则新环境变量不生效。这一步漏做,所有后续 ollama pull 命令仍会往 C 盘隐藏文件夹里塞模型。

验证服务是否跑起来

打开 PowerShell,输入:ollama --version。看到类似 ollama version 0.32.8 即说明命令行工具就绪。

再执行:ollama serve(后台服务启动命令)。若无报错,保持该窗口开启;也可让它后台运行——任务栏右下角会出现羊驼图标,鼠标悬停显示“Ollama is running”。

Compaction Survival System
Compaction Survival System

通过预写日志 (WAL)、工作缓冲区和自动恢复防止 LLM 压缩期间上下文丢失,三项机制确保关键状态...

下载

浏览器打开 https://www.php.cn/link/188b8a4c8450ae946afdf57ca3012ead,页面显示 Ollama is running,代表 HTTP API 服务已就位,这是后续所有调用的基础。

拉取并运行第一个中文大模型

推荐新手首选 qwen2.5:7b:中文理解强、4.7GB体积适中、对8GB显存或16GB内存的机器友好。

在 PowerShell 中执行:ollama pull qwen2.5:7b。首次拉取耗时取决于网络,进度条走完后自动解压至 D:OllamaModels。

拉取完成后,直接运行:ollama run qwen2.5:7b。终端进入交互模式,光标闪烁等待输入。此时输入“你好”,回车,模型应几秒内返回中文回复。

若卡住不动或报错 failed to load model,大概率是环境变量未生效或 D:OllamaModels 权限受限——检查该文件夹是否被杀毒软件拦截,或尝试用管理员身份运行 PowerShell 再试一次 pull 和 run。

用Python脚本调用本地模型(API方式)

安装 requests 库:pip install requests。

新建 test_api.py,粘贴以下内容:

import requests<br>url = "https://www.php.cn/link/188b8a4c8450ae946afdf57ca3012ead/api/chat"<br>data = {<br>  "model": "qwen2.5:7b",<br>  "messages": [{"role": "user", "content": "用三句话解释量子纠缠"}],<br>  "stream": False<br>}<br>r = requests.post(url, json=data)<br>print(r.json()["message"]["content"])

保存后在终端执行:python test_api.py。成功时输出应为一段关于量子纠缠的中文解释,证明 OpenAI 兼容 API 已可用,可接入你自己的工具链或前端。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.26

3279

3

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.27

2858

6

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

2023.08.01

1508

3

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2619

5

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.08

3310

4

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

1637

3

windows boot manager
windows boot manager

windows boot manager无法开机的解决方法:1、系统文件损坏,使用Windows安装光盘或USB启动盘进入恢复环境,选择修复计算机,然后选择自动修复;2、引导顺序错误,进入恢复环境,选择命令提示符,输入命令"bootrec /fixboot"和"bootrec /fixmbr",然后重新启动计算机;3、硬件问题,使用硬盘检测工具进行扫描和修复;4、重装操作系统。本专题还提供其他解决

2023.08.28

2497

4

windows锁屏快捷键
windows锁屏快捷键

windows锁屏快捷键是Windows键+L、Ctrl+Alt+Del、Windows键+D、Windows键+P和Windows键+R。本专题为大家提供windows相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.30

5027

5

Window.setInterval()方法
Window.setInterval()方法

Window.setInterval() 方法的基本语法是“window.setInterval(function, delay)”,function是要重复执行的函数或代码块,delay是每次执行之间的时间间隔,以毫秒为单位。本专题为大家提供Window.setInterval()相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.31

755

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
HBuilderX Windows 安装手册
HBuilderX Windows 安装手册

共0课时 | 0人学习

phpEnv手册
phpEnv手册

共0课时 | 0人学习

好课诞生记
好课诞生记

共20课时 | 7.2万人学习