小米MiMo-V3启用全新模型架构,长文本检索准确率提升

胖萱姑娘_4198

胖萱姑娘_4198

2026-10-12

569人浏览

原创

【php中文网快讯】据 xiaomi mimo 官方消息,小米 mimo-v3 核心架构 hysparse2 在初代 hysparse 基础上完成关键演进,全面强化 kv 共享策略与稀疏选择粒度,显著提升模型在长上下文场景下的处理效率与检索精度。该架构专为长程多轮 agent 任务设计,实现更轻量的 prefill 计算、更紧凑的 kv cache 占用,以及更强健的长距离信息定位能力。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

小米MiMo-V3启用全新模型架构,长文本检索准确率提升此前,MiMo-V2 系列采用 Hybrid SWA 混合注意力机制,融合全注意力(Full Attention)与滑动窗口注意力(Sliding Window Attention),在保障建模能力的前提下优化训练与推理开销。在持续迭代 V2 系列的同时,面向 MiMo-V3 的底层架构探索同步推进,HySparse 即为该技术路线的首个落地成果,而 HySparse2 则是其深度升级版本。

小米 MiMo 大模型负责人罗福莉近日公开确认,MiMo-V3 将搭载全新架构 HySparse2,核心目标直指降低 Prefill 阶段资源消耗、压缩 KV 缓存体积、增强跨轮次长历史中的语义检索准确性。

实测数据显示:在 100 万 Token 超长上下文场景下,HySparse2 相较前代 Hybrid SWA 方案,Prefill 计算量(FLOPs)下降达 5.02 倍;KV 缓存占用由约 12.09GB 缩减至 2.69GB,降幅达 4.5 倍;同时在 MRCRv2、RULER-v2 等权威长文本理解基准上得分提升,并在 AgentPPL、LongPPL 等面向智能体行为建模的关键指标中表现更优。

罗福莉指出,Agent 推理是一种高度特化的计算负载——单次工具调用指令可能仅含数十 token,但其返回的网页快照、执行日志或代码文件却常达数万甚至数十万 token。随着交互轮次增加,上下文持续膨胀,Prefill 算力压力、显存缓存瓶颈与长跨度证据召回精度三者共同构成性能天花板。

小米/米家智能家居控制
小米/米家智能家居控制

小米/米家智能家居设备控制。通过MCP Server工具控制家中设备,包括灯、空气净化器、电暖气、空调、风扇、扫地机器人、窗帘等。触发场景:用户提到智能家居控制指令,如"把灯关掉"、"开空调"、"净化器调到睡眠模式"、"客厅太暗了"、"家里空气不好"等。即使未明确提及"小米"或"米家",只要涉及家居设备控制即可触发。

下载

为此,HySparse2 引入 KV 桥接(KV Bridging)机制,借鉴 YOCO 架构思想:Cross-Decoder 中的 Full Attention 层直接基于 Self-Decoder 对应层输出的隐藏状态生成自身 K/V,无需等待逐层前向传播;同时支持 KV 重用(KV Reuse):每个 HybridBlock 内,后续 Sparse Attention 层复用前置 Full Attention 层已计算出的 KV Cache 及注意力重要位置索引,避免重复构建。

此外,两项关键改进同步落地:一是将稀疏选择粒度由块级(block-level)升级为 token 级(token-level),使有限的注意力预算可精准分配至分散于多轮对话、工具响应及代码片段中的关键语义单元;二是取消独立 SWA 分支,改用“强制保留最近 128 token + 窗外全局采样 1024 token”机制,使局部与全局 token 统一共享同一套 KV 缓存结构。正因 Cross-Decoder 所需全部 KV 均源自 Self-Decoder,Prefill 过程可在 Self-Decoder 计算完毕后即时终止。

值得一提的是,小米已于近期正式发布并开源 Xiaomi MiMo-V2.6 系列模型,涵盖 Pro 与 Flash 两款原生全模态大模型(详情参见 PHP 中文网此前报道:《登顶全球开源大模型第一!小米发布并开源 MiMo-V2.6 系列》)。官方强调,V2.6 是 RSI(Recursive Self-Improvement)递归自我改进范式的重要实践,依托强化学习算力规模扩展与闭环反馈机制,持续拓展模型能力边界。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

小米

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
MiMo Code AI 编程助手入门与智能开发实战专题
MiMo Code AI 编程助手入门与智能开发实战专题

PHP中文网为您提供MiMo Code AI编程助手入门与智能开发实战专题。作为小米MiMo团队推出的新一代终端原生AI编码代理,我们为您整理了通过官方脚本一键部署(支持Mac/Linux/Windows)及零配置接入MiMo-V2.5免费大模型的核心指南。同时,详细梳理了MiMo Code的三大核心工作模式(Build构建、Plan只读分析、Compose全流程编排)与独创的持久化记忆系统,深度解析其动态上下文压缩与双Agent协同架

2026.06.25

216

7

MiMo Code Agent开发与AI编程工作流专题
MiMo Code Agent开发与AI编程工作流专题

PHP中文网为您提供MiMo Code Agent开发与AI编程工作流专题。作为小米MiMo团队基于OpenCode二次开发并采用MIT协议开源的终端AI编程助手,我们为您深度拆解了MiMo Code的核心架构与实战工作流。专题详细梳理了其独创的“项目记忆、会话检查点、任务进度”三重持久化记忆系统,以及通过独立子Agent自动保存状态与动态上下文压缩技术,彻底解决长程任务“失忆”痛点。

2026.06.25

137

7

MiMo Code 模型能力优化与高级开发应用专题
MiMo Code 模型能力优化与高级开发应用专题

PHP中文网为您提供MiMo Code模型能力优化与高级开发应用专题。作为小米MiMo团队重磅推出的终端原生AI编程助手,我们为您深度拆解了其在底层计算与模型协同上的硬核优化。专题详细梳理了Max Mode(并行采样选优)机制,通过独立裁判模型在SWE-Bench Pro上提升10-20%的复杂任务完成率,以及基于SGLang HiCache技术的KVCache成本优化,实现百万级Token上下文的高效处理。

2026.06.25

129

7

Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

2026.11.20

0

7

Navicat入门教程大全
Navicat入门教程大全

本专题整理Navicat入门教程,从认识软件界面到开展数据库操作,介绍初次使用需要了解的知识和方法。内容兼顾连接配置、数据管理及日常使用中的疑问,方便用户按学习进度查阅,为后续实践和独立操作打好基础。

2026.11.20

0

17

Navicat数据库连接配置指南
Navicat数据库连接配置指南

从确认数据库信息到建立可用连接,本专题串联Navicat连接数据库的相关知识和操作方法。既有初次配置时需要了解的基础内容,也有连接后的检查思路,方便用户按实际需求查阅教程,逐步熟悉数据库连接的设置流程。

2026.11.20

0

10

PHP8.6数组与数据处理教程
PHP8.6数组与数据处理教程

本专题汇总PHP8.6数组与数据处理教程,涵盖CSV读取和导出、引用遍历删除、array_filter回调模式、配置键名冲突、pathinfo文件名校验、GMP大整数进制转换及UTF-8正则筛选,说明升级兼容变化、输入范围和失败处理方法。

2026.11.20

0

8

PHP8.6升级迁移教程
PHP8.6升级迁移教程

本专题汇总PHP8.6升级迁移与弃用接口改造教程,涵盖反射调用、对象属性赋值、标识符更名、构造函数与__debugInfo调整,以及插件类名检查、常量导出、ArrayIterator排序、SPL和DTO查询参数转换,帮助梳理弃用提示并完成代码兼容改造。

2026.11.20

0

10

PHP8.6安装配置与FPM运维教程
PHP8.6安装配置与FPM运维教程

本专题汇总PHP8.6正式版安装部署与FPM运维教程,涵盖Linux并存安装、独立ini配置、扩展重新编译、Nginx切换与回滚、FPM状态监控和慢日志排查,以及环境变量、请求超时、OPcache刷新和预加载配置。

2026.11.20

0

10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
前端实战原生布局—(小米商城)
前端实战原生布局—(小米商城)

共25课时 | 3.9万人学习

前端实战原生布局—(小米商城)
前端实战原生布局—(小米商城)

共25课时 | 5.9万人学习

Web前端开发极速入门
Web前端开发极速入门

共8课时 | 22.8万人学习