人工智能在端侧部署领域迎来里程碑式突破。开源项目 edge0 近日正式发布并开源了 edge0-145b 与 edge0-120b 模型，同步推出一套统一推理框架与部署工具。作为全球首个宣称可在个人电脑本地流畅运行的 1450 亿参数开源模型，edge0-145b 成功将媲美云端前沿大模型的编程、推理与智能体能力，直接带入用户本地笔记本。
突破硬件极限：它如何让 145B 模型在笔记本上运行？
长期以来，端侧 AI 始终在模型能力与硬件可行性之间艰难权衡：大模型参数量庞大，对内存容量与带宽要求极高；小模型虽轻量易部署，却难以胜任复杂专业任务。将计算任务交由云端处理，则不可避免面临持续 API 成本、数据隐私风险及强网络依赖等问题。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
为攻克这一行业难题，Edge0 团队从底层架构、训练策略、模型加载机制到推理调度四个维度展开系统性创新：
稀疏专家架构（MoE）：模型在大量稀疏专家间高效共享大矩阵，在维持专家总数不变的前提下显著降低需存储与搬运的权重总量。在总计 145B 参数中，单次推理仅激活约 10B 参数参与计算。
端侧原生协同训练：该模型自训练初始阶段即深度嵌入端侧部署的硬性约束，彻底规避传统云端大模型后期压缩或剪枝所导致的能力衰减。
三层存储智能流水线：通过精巧设计，实现 GPU 显存、系统内存与固态硬盘（SSD）三级存储的高效协同流水作业。高频调用的“热专家”常驻 GPU 显存，约 40GB 的专家库驻留系统内存按需加载，约 48GB 的词表数据则存放于 SSD 实时读取，消除串行等待瓶颈。
CPU 与 GPU 协同加速：GPU 专注执行已缓存专家的计算任务，CPU 并行处理其余工作流，并借助投机解码技术将权重读取开销分摊至更多输出 token，进一步提升吞吐效率。
依托上述多项核心技术，Edge0-145B 在主流个人电脑平台（如搭载苹果 M 系列芯片的 MacBook Pro，或配备 RTX 4090 / 5090 显卡的 Windows 设备）上达成卓越实测表现：峰值显存占用仅 29GB，提示词预处理速度超 1100 tokens/s，解码生成速率逾 80 tokens/s，典型整机功耗稳定在 120W 左右，全面支持 128K 至 256K 超长上下文窗口。
编程与推理能力比肩云端，轻松驾驭复杂本地工作流
在核心能力层面，Edge0-145B 在多项国际权威基准测试中展现出强劲竞争力。其六项综合基准平均得分为 72.8，相较标准 4-bit 量化部署下动辄需 70GB–87GB 显存的主流云端或大型基线模型，实测显存占用降低约 40%–60%，性能却稳居同一梯队：
在 AgentBlog（blog.agentloka.ai）上作为已认证 AI 代理发布博客文章，支持发布、编辑、删除、评论、浏览和阅读长篇内容。
编程与智能体能力：DeepSWE1.1 得分 64.6，Terminal-Bench2.1 得分 86.52，指令遵循 IFBench 得分 80.6。
推理与知识理解：GPQA-Diamond 得分高达 90.4，彰显扎实逻辑推演与广博知识储备。
凭借优异的代码生成、工具调用、自我调试及视觉解析能力，Edge0-145B 可独立支撑高复杂度本地端工作流。在官方演示的实际用例中，它不仅胜任日常对话交互，更能于本地离线环境下一小时内完成特斯拉 Roadster 讲解视频全流程制作；在 Blender 中从零构建曼哈顿三维城市场景；开发具备可玩性的中世纪 RPG 游戏；编写驱动真实无人机穿越障碍物的飞行控制代码；甚至在 KiCad 中完成 PCB 电路板布局设计，并无缝衔接至 Unreal Engine 实现装配动画渲染。全程无需联网、不依赖云端服务，既节省可观 API 开销，更确保核心敏感数据始终留存本地、自主可控。
打造端侧开源全栈生态，加速 AI 迈向“端侧优先”新范式
除重磅推出的 145B 模型外，Edge0 过去一年已累计发布四大产品系列、共计 200 个不同规模模型，构建起覆盖语音、文本、视觉与长期记忆的完整端侧能力矩阵：
Edge0 系列：涵盖 145B、120B（面向笔记本）、35B、8B（面向手机）等多档位模型，全面适配 vibe coding 与智能体任务场景。
Audio8 系列：聚焦“听”与“说”，提供 0.1B 至 3B 多语种语音识别、语音合成及端到端语音交互模型。
Decision0 系列：集成 0.6B 与 3B 多模态快速决策模型，将端侧决策延迟压缩至 40 毫秒以内。
Embedding0 系列：0.6B 多模态嵌入模型，全面支持文本、语音、图像与视频的本地长期记忆管理及 RAG 检索能力。
目前，Edge0-145B 与 Edge0-120B 完整模型权重已在 Hugging Face 正式开源，配套统一推理框架与一键部署指南亦同步上线 GitHub。此外，官方还推出免环境配置的桌面应用 Edge0App。随着大模型在端侧硬件上的运行效率持续跃升，AI 应用范式正稳步从过往“云端优先”转向“端侧优先、云端辅助”的全新发展阶段。
