debian服务器搭建ai环境需分层构建：选debian minimal+ runit降低内存占用，用ollama+gguf格式模型保障推理效率，通过nginx反向代理与let’s encrypt实现安全服务暴露，再以dify或deepchat容器化集成开发平台。
选对基础系统：Debian Minimal + runit
别用桌面版或全功能 Server ISO。从 debian-14.0.0-amd64-netinst.iso 开始安装，引导时加 priority=low 进高级模式。软件选择环节只勾选“标准系统工具”和“SSH服务器”，其余全取消。装完立刻执行：
sudo apt purge --autoremove systemd-timesyncd rsyslog cron logrotate man-dbsudo apt install runit runit-sysv- 改
/etc/default/grub中GRUB_CMDLINE_LINUX_DEFAULT="init=/usr/bin/runit-init"，再sudo update-grub && sudo reboot
实测空载内存压到 110MB 左右，为后续模型留足余量——尤其当你跑 Phi-3-mini 或 Gemma 2B 这类轻量模型时，这点内存很关键。
部署模型推理层：Ollama + GGUF
Ollama 是目前最友好的本地推理入口，但默认安装可能缺依赖。先装 zstd：
sudo apt install zstdcurl -fsSL https://ollama.com/install.sh | sh
拉模型优先选 GGUF 格式（如 phi3:mini 或 gemma:2b），它支持 mmap 加载，不把整个模型塞进 RAM。启动时加参数避免 OOM：
-
ollama serve --host 0.0.0.0:11434 --num-gpu 0（纯 CPU 模式） - 编辑
/etc/systemd/system/ollama.service，在[Service]下加：Environment="OLLAMA_HOST=0.0.0.0:11434"Environment="OLLAMA_NUM_GPU=0"
这样既开放局域网访问，又防止默认绑定 localhost 导致 WebUI 连不上。
针对Linux系统，phpStudy团队推出全网首家linux docker容器面板，只要一个命令，快速安装面板，在面板里可以自行选择软件版本，可以方便的进行安全配置，就算没有Linux基础也可以快速搭建和管理PHP服务器环境！
暴露服务层：Nginx 反向代理 + Let’s Encrypt
别直接把 Ollama 或 Dify 的端口暴露在外网。用 Nginx 做统一入口：
sudo apt install nginx certbot python3-certbot-nginx- 配
/etc/nginx/sites-available/ai-proxy，指向http://127.0.0.1:11434或http://127.0.0.1:3000（WebUI） sudo ln -s /etc/nginx/sites-available/ai-proxy /etc/nginx/sites-enabled/sudo nginx -t && sudo systemctl reload nginx-
sudo certbot --nginx -d ai.yourdomain.com（自动签发 HTTPS）
防火墙只开 80/443，其他端口全部封锁。这是生产级部署的底线。
集成开发平台：Dify 或 DeepChat 容器化
如果目标是快速搭知识库或 Agent 应用，Dify 比从头写 API 更高效：
git clone https://github.com/langgenius/dify.git -b v0.15.3-
cd dify/docker && cp .env.example .env，改MODEL_PROVIDER=ollama和OLLAMA_BASE_URL=http://host.docker.internal:11434 -
docker compose up -d（确保 Docker 已启用并加入当前用户组）
DeepChat 更轻量，适合纯对话场景：docker run -d --name deepchat -p 3000:8080 -e OLLAMA_BASE_URL=http://host.docker.internal:11434 --restart unless-stopped ghcr.io/huggingface/deepchat:latest
两者都通过前面 Nginx 统一反代，对外只暴露一个域名，内部各司其职。
