本地部署llama 3.1需满足：linux/macos/windows 10+（win须启用wsl2）、≥8gb内存（推荐16gb）、gpu加速需nvidia（cuda 12.1+）或apple silicon；安装ollama后运行ollama serve并拉取llama3.1:8b-instruct-q4_k_m模型，后端通过http://127.0.0.1:11434/api/chat调用，配合nginx反代与iptables出向拦截实现全内网数据隔离。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
你需要在本地部署Llama 3.1模型，让网站后端调用AI能力时，所有用户输入、页面内容、表单数据全程不离开内网，避免隐私数据经由公网传输至第三方API服务器。
确认硬件与系统基础环境
检查你的服务器或开发机是否满足最低运行条件：Linux/macOS/Windows 10+，至少8GB内存，推荐16GB；若启用GPU加速需NVIDIA显卡（CUDA 12.1+）或Apple Silicon芯片。Windows用户必须启用WSL2，否则Ollama无法正确挂载模型文件系统。
执行 uname -s 或 ver 确认系统类型，【未启用WSL2的Windows用户跳过后续所有Ollama命令，将直接失败】。
这一步操作起来很简单，直接在终端输入命令回车即可。
安装Ollama并验证服务状态
访问 https://ollama.com/download，根据操作系统下载对应安装包；macOS用户可直接运行 brew install ollama；Linux用户执行 curl -fsSL https://ollama.com/install.sh | sh。
安装完成后，在终端中运行 ollama serve 启动后台服务；新开一个终端窗口，输入 ollama list，若返回空列表且无报错，说明服务已就绪。
注意：不要关闭第一个终端窗口——ollama serve 是守护进程，关闭即终止服务，后续模型加载会提示“connection refused”。
拉取并运行Llama 3.1 GGUF量化模型
执行命令：ollama run llama3.1:8b-instruct-q4_k_m。
该命令会自动从Ollama官方模型库拉取已优化的GGUF格式模型（8B参数 + Q4_K_M量化），体积约4.2GB，比FP16版本小60%且推理速度提升约35%，适合中低配设备长期驻留。若网络慢，可提前用浏览器打开 https://ollama.com/library/llama3.1 查看可用标签，选更轻量的 q3_k_l 或 q2_k 版本。
首次运行会触发下载→解压→校验→加载全流程，耗时取决于带宽与磁盘IO。成功后终端显示 > 提示符，代表模型已就绪待命。
配置网站后端直连本地Ollama API
第一步：确认Ollama默认监听地址为 http://127.0.0.1:11434，该端口不对外网开放，仅限本机进程访问。
第二步：在网站后端代码中（如Node.js Express、Python Flask或PHP），使用HTTP客户端向 POST /api/chat 发起请求，body为JSON格式，包含 model（值填 llama3.1:8b-instruct-q4_k_m）、messages（用户当前网页表单内容封装为数组）、stream 设为 false（避免流式响应导致前端解析异常）。
第三步：严格禁止在请求头中添加任何 Authorization 或 X-API-Key 字段——Ollama本地API默认无认证，加了反而触发401错误。
第四步：部署前在后端日志中捕获一次完整请求/响应体，确认 response.headers.get("content-type") 返回 application/json 且 body 中含 message.content 字段，即表示链路打通。
隔离网站数据流路径
方法一：Nginx反向代理拦截外发请求
在Nginx配置中加入 location /api/ai/ { proxy_pass http://127.0.0.1:11434/; }，并将网站前端所有AI调用URL统一改为 /api/ai/chat。此举可隐藏Ollama真实端口，防止被扫描工具探测。
方法二：iptables强制阻断出向API连接
执行 sudo iptables -A OUTPUT -p tcp --dport 443 -m string --string "api.openai.com\|anthropic.com\|groq.com" --algo bm -j DROP，彻底切断网站进程向外发起LLM相关HTTPS请求的能力，确保万无一失。
【执行iptables命令前务必确认服务器无需访问其他HTTPS服务，否则可能导致监控、更新等功能中断】。
