10月29日,cnmo科技获悉,韩国电信运营商lg u+对外宣布,其提交的两篇聚焦ai token优化技术的研究论文已成功入选neurips 2026端侧智能(on-device intelligence)研讨会。该系列技术专为智能手机等算力、内存及电池资源受限的终端设备设计,旨在显著降低ai模型运行时的计算负载,从而提升推理速度并大幅缩减功耗。尤其在语音通话场景中,针对小型语言模型(slm)所提出的优化方案,相较传统方法可实现约4.5倍的处理速度提升,同时将电池消耗压降至原有水平的约23%。

AI
在AI模型执行任务过程中,输入文本等内容会被切分为Token——这是模型进行运算的最小语义与计算单元。随着端侧AI功能持续扩展,手机需在有限的RAM容量、CPU/GPU算力以及电池能量约束下完成本地模型部署与推理,因此Token层面的处理效率直接决定了AI响应的实时性与整机续航能力。LG U+本次研究核心即围绕Token生成、编码与推理链路展开深度优化,力求压缩端侧AI推理延迟与能耗,推动更流畅、更持久的本地化AI体验。

在通话服务具体应用中,LG U+将模型轻量化策略与高效推理引擎深度融合,适配于面向移动端的小型语言模型(sLM)。相比完全依赖云端大模型的架构,sLM本身具备更低的资源占用特性,天然适配终端部署。根据LG U+公布的实测数据,经其技术优化后,该模型在真实通话交互场景下的处理吞吐量提升至原方案的约4.5倍,单位任务耗电量则降低约77%。
此外,LG U+还自主研发了一套支持智能手机本地持续训练AI模型的技术框架。区别于传统AI训练必须上传用户数据至远程服务器的模式,该技术通过精简梯度计算、压缩参数更新路径及优化内存调度机制,使模型可在设备端直接利用本地数据完成增量学习。LG U+透露,在多款主流安卓机型上开展的实际测试表明,本地训练所得模型在关键指标上已逼近服务器端训练结果,准确率差异微乎其微;更重要的是,全部用户数据全程保留在设备内部,既保障隐私安全,又切实增强了AI对个体使用习惯与环境特征的学习适应能力。










