人工智能端侧部署领域迎来重大突破。淘宝旗下 mnn 团队正式开源面向移动端的轻量级大语言模型 —— mnn-pocket-0.3b。该模型参数量约为3亿，专为智能手机等资源受限设备定制，在极低内存占用与功耗前提下，达成接近云端服务的响应速度与全面的任务处理能力。
极致轻量化设计：体积压缩近50%，峰值内存稳定控制在300MB以内
为实现大模型在手机上的“无感运行”，MNN 团队提出“手机应用原生大模型”理念，并将其具象为四大核心工程目标：解码吞吐不低于200token/s、峰值内存严格低于300MB、单次推理能耗极低、同时具备强指令遵循能力与多任务扩展潜力。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
实测性能表现亮眼：真机跑出行业新高
离线推理极速：在苹果 iPhone 18 Pro 实机环境中，依托 MNN 推理引擎完全离线运行，平均 Decode 速度达约350token/s；在 iPad Pro（M5芯片）Metal 后端、512token 输入配置下，Prefill 吞吐高达8,721token/s，Decode 吞吐达466token/s，约为同条件下 Qwen3-0.6B 的1.63倍。
精简部署包：INT4 MNN 格式部署文件体积仅173MB；在 iPad Pro M5 测试中，其峰值 Metal 驻留内存相较基线仅增加228MB。而对比模型 Qwen3-0.6B 的部署体积为340MB、峰值内存增量为427MB——MNN-Pocket-0.3B 体积缩减约49%，内存增量降低约47%，显著释放系统资源，为图像、视频等高频业务模块预留更多空间。
能效比卓越：在一加13（搭载骁龙8至尊版）上开展的4-bit 模型功耗实测显示，在典型负载（输入1024token、输出128token）下，执行100次同等任务的累计增量能耗仅占6000mAh电池总电量的约0.3%，切实缓解用户对端侧 AI 发热与续航焦虑的担忧。
词表高效重构：针对中文互联网场景深度优化，基于 Qwen3 分词器将原始约151K词表精简至64K，压缩率达57%，大幅削减词嵌入层与输出投影层的参数量与计算开销。
综合能力越级跃迁：多项权威评测刷新同规模纪录
在真实任务与标准基准测试中，MNN-Pocket-0.3B 展现出远超参数量级的泛化实力：
英文 IFEval 得分达73.20，自研中文指令遵循评测 IFEval-zh 得分高达74.59，双双位居当前同规模模型榜首；覆盖中英文知识理解、逻辑推理、数学能力、代码生成及指令执行等维度的11项综合评测平均得分为50.00，超越 MiniCPM4-0.5B、Qwen3-0.6B 等更大参数量竞品；其中，中文数学 MGSM-zh 得分51.20，代码生成 HumanEval 得分53.66，均处于领先梯队。
全链路开源矩阵：覆盖训练、微调与端侧部署全阶段
为加速技术落地与生态共建，MNN 团队同步开放涵盖预训练、监督微调、量化部署及先进解码策略在内的多个版本：
MNN-Pocket-0.3B-Base：面向持续预训练、垂直领域适配与基础能力研究；
MNN-Pocket-0.3B-SFT：支持监督微调、强化学习、知识蒸馏与消融分析；
MNN-Pocket-0.3B：通用指令调用与业务集成优选版本；
MNN-Pocket-0.3B-MNN：W4A16 QAT 量化端侧部署版，深度适配 MNN 推理引擎低比特算子与硬件后端，在特定设备上 Decode 吞吐可达466token/s；
MNN-Pocket-0.3B-DFlash2：专为 DFlash2 投机解码草稿模型设计，结合块级生成与验证机制，特定场景下解码效率达传统自回归方式的2.06倍；
MNN-Pocket-0.3B-Dec：集成决策头结构，专精候选选择类任务，提升关键路径推理精度与效率。
