本地部署大模型网络连接_内网穿透访问教程

大静同学_8911

大静同学_8911

2026-05-04

1164人浏览

原创

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

当本地大模型服务无法被外网访问时,主因是内网无公网ip或路由器未映射端口;可选frp自建隧道、ssh反向隧道、花生壳图形化穿透、cpolar一键穿透、ngrok云端托管五种方案。

如果您已在本地服务器或个人电脑上成功部署大模型服务(如 mirage flow、qwen3、glm-4-9b-chat-1m 等),但外部网络无法访问该服务,则大概率是因内网环境缺乏公网 ip 或路由器未开放端口映射所致。以下是多种可立即实施的内网穿透访问方案:

一、使用 frp 搭建自托管反向代理隧道

frp 是一款开源、高性能的反向代理工具,需在公网服务器(VPS)部署服务端,在本地部署客户端,二者建立加密 TCP 隧道,将远程请求安全转发至本地大模型监听端口。该方案完全可控,支持自定义域名、HTTPS、身份验证与流量加密。

1、在拥有公网 IP 的 VPS 上下载并解压 frp 服务端(以 Linux x64 为例):
curl -L https://github.com/fatedier/frp/releases/download/v0.57.0/frp_0.57.0_linux_amd64.tar.gz | tar -xz

2、编辑服务端配置文件 frps.ini,启用 dashboard 并设置 token:
[common]
bind_port = 7000
token = your_secure_token_here
dashboard_port = 7500
dashboard_user = admin
dashboard_pwd = admin_password

3、启动 frp 服务端:
./frps -c frps.ini

4、在本地大模型服务器下载对应平台的 frp 客户端,编辑 frpc.ini:
[common]
server_addr = your_vps_public_ip
server_port = 7000
token = your_secure_token_here
[mirage-flow]
type = tcp
local_ip = 127.0.0.1
local_port = 7860
remote_port = 8888

5、启动 frp 客户端:
./frpc -c frpc.ini

6、外网用户即可通过 http://your_vps_public_ip:8888 访问本地 Mirage Flow 服务。

二、通过 SSH 反向隧道快速临时暴露

SSH 反向隧道无需额外安装软件,仅依赖系统自带的 OpenSSH,适合技术用户进行调试或短期演示。其本质是让本地机器主动连接公网跳板机,并在跳板机上绑定指定端口,将入站请求反向转发至本地服务。

1、确认本地大模型服务已监听 0.0.0.0(而非仅 127.0.0.1),例如 vLLM 启动命令中含 --host 0.0.0.0 --port 8000

2、在本地终端执行反向隧道命令(替换为真实跳板机信息):
ssh -N -R 8000:localhost:8000 user@jump-server-ip

3、确保跳板机 SSH 配置允许远程端口转发:编辑 /etc/ssh/sshd_config,确认存在以下两行且未被注释:
GatewayPorts yes
AllowTcpForwarding yes

4、重启跳板机 SSH 服务:
sudo systemctl restart sshd

5、外网访问地址即为:http://jump-server-ip:8000

三、采用贝锐花生壳实现零配置图形化穿透

贝锐花生壳提供免公网 IP、免路由器配置、图形化操作的内网穿透服务,适用于 Windows/macOS/Linux 及主流 NAS 系统。其客户端自动分配二级域名,支持 HTTPS 映射、访问密码、IP 白名单等安全策略,适合非专业用户快速上线。

1、前往贝锐官网下载并安装对应平台的花生壳客户端,注册账号后登录

2、点击「添加映射」→ 选择「HTTPS 映射」(推荐,自动启用 TLS)

3、填写内网主机地址(如 192.168.1.100)、内网端口(如 8080)、外网端口(留空由系统分配)

This skill transforms novel chapters into professional film storyboard scripts. 这个skill是将小说章节 →(变成) 专业电影分镜剧本。 Powered by **清云 EchoFlow API** (https://api.echoflow.cn/) — 一站式国内外580+大模型,一键开发票,企业级稳定,价格是官方的1.5折。
This skill transforms novel chapters into professional film storyboard scripts. 这个skill是将小说章节 →(变成) 专业电影分镜剧本。 Powered by **清云 EchoFlow API** (https://api.echoflow.cn/) — 一站式国内外580+大模型,一键开发票,企业级稳定,价格是官方的1.5折。

将小说章节转换为电影分镜剧本。用户上传txt/md/docx文本,AI分析场景、角色、情绪、镜头语言,输出专业分镜脚本。适用于用户提及“分镜”“storyboard”“小说转分镜”“影视改编”“镜头脚本”或需要将小说改编为分镜的场景。

下载

4、启用「Web 访问口令」,设置强密码:必须开启此项以防止未授权调用

5、保存后获取专属访问域名,形如:xxx.vicp.net

6、在外网设备浏览器中访问该域名,输入口令即可进入本地大模型 Web UI

四、使用 cpolar 实现跨平台一键穿透

cpolar 是国产轻量级内网穿透工具,提供免费隧道配额,支持 Windows/macOS/Linux/ARM 架构及 Docker,命令行与 Web 管理界面双模式,内置 HTTPS 终止与基础认证,部署门槛低于 frp。

1、在本地大模型服务器下载 cpolar 安装包,解压后执行初始化:
./cpolar authtoken your_auth_token_from_cpolar_website

2、启动 HTTPS 隧道并绑定本地端口(假设模型运行于 3000 端口):
./cpolar http 3000

3、命令执行后返回类似地址:https://abcd1234.cpolar.io

4、访问该链接,将自动跳转至本地 127.0.0.1:3000 服务页面

5、如需固定域名,登录 cpolar 官网后台绑定自有域名并配置 CNAME 解析

五、基于 ngrok 的云端托管穿透(适用于测试场景)

ngrok 提供全球分布式边缘节点与自动 HTTPS,无需自备服务器,适合快速验证 API 连通性或临时共享接口。免费版限速且域名随机,但配置极简,30 秒内可完成暴露。

1、注册 ngrok 账号并获取 authtoken,下载对应平台客户端

2、在本地终端执行认证:
./ngrok config add-authtoken your_ngrok_token

3、启动 HTTP 隧道指向本地模型端口:
./ngrok http 7860

4、终端输出类似:
Forwarding https://abc123.ngrok-free.app → http://localhost:7860

5、将 https://abc123.ngrok-free.app 分享给协作方,即可直接访问

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

大模型 qwen grok

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

2026.09.23

140

15

Buffalo框架路由与请求处理实操指南
Buffalo框架路由与请求处理实操指南

本专题讲解Buffalo框架路由与请求处理机制,涵盖路由注册与分组、资源路由、Handler编写规范、Context上下文方法、参数绑定、中间件编写挂载、Session与Cookie读写、Flash消息及错误页面定制方法。

2026.09.23

80

15

Buffalo框架零基础入门教程
Buffalo框架零基础入门教程

本专题整理Buffalo框架入门内容,涵盖Go环境准备、buffalo CLI安装、新项目生成、目录结构说明、dev热加载启动、数据库连接配置与常见报错排查,帮助新手按约定优于配置的思路跑通第一个Buffalo框架应用。

2026.09.23

60

15

Conan创建软件包配方指南
Conan创建软件包配方指南

本专题介绍通过conanfile.py创建软件包的方法,讲解包名、版本、依赖和构建设置等基础信息,以及source、build、package、package_info等常用方法的作用及编写思路。

2026.09.22

40

12

Conan二进制包配置指南
Conan二进制包配置指南

本专题介绍Conan根据操作系统、编译器、架构和构建类型生成二进制包的方法,讲解Profile、Settings、Options及Package ID的作用,帮助管理不同平台和编译环境下的包版本。

2026.09.22

60

13

Conan私有仓库搭建教程
Conan私有仓库搭建教程

本专题系统的讲解Conan私有仓库的搭建流程,涵盖仓库服务部署、存储目录配置、用户认证、权限划分和远程地址添加,并介绍内部C++依赖包的上传、下载及版本维护方法。

2026.09.22

40

19

loomy官网入口地址合集
loomy官网入口地址合集

本专题汇总了 Loomy 桌面 AI 助理的官方入口地址合集及使用指南。提供 macOS 与 Windows 客户端下载 。Loomy 是讯飞推出的桌面级 AI 工作搭子,支持文件整理、数据分析、网页操作及通过飞书/钉钉远程操控电脑,助你高效完成本地办公任务 。

2026.09.22

40

19

NumPy常见函数使用方法
NumPy常见函数使用方法

本专题整理 NumPy 常见函数使用方法相关教程,覆盖函数大全、参数用法、数组运算、统计聚合、排序处理、where 条件筛选、linspace 创建数列等常用场景,帮助读者快速掌握 NumPy 函数调用思路和实际数据处理技巧。

2026.09.22

60

21

NumPy性能优化版本更新与常见报错排查
NumPy性能优化版本更新与常见报错排查

本专题整理 NumPy 性能优化、版本更新与常见报错排查相关教程,覆盖向量化计算、广播性能、内存布局、NumPy 2.0 升级、版本兼容冲突、安装导入报错、dtype 溢出、矩阵运算异常和 broadcasting 报错修复,帮助读者系统掌握 NumPy 性能调优与问题定位方法。

2026.09.22

80

25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程