27B数理 SOTA 与3秒情感克隆,有道全面开源“子曰4”多模态与 TTS 引擎

胖涛同学_2152

胖涛同学_2152

2026-05-21

242人浏览

原创

近日,网易有道正式发布“子曰”大模型4.0版本,迎来全维度能力跃升。“子曰4”全面迈入全模态交互新阶段,原生支持文本、图像、音频三类信息的深度融合与协同理解。值得关注的是,有道同步宣布将核心的“多模态理解模型”与“语音合成(tts)模型”完全开源。与此同时,翻译模型亦完成深度架构重构,在译文准确性与响应时效性两方面实现同步突破。

多模态模型视觉推理与数理逻辑双登顶,纯文本数学题求解能力领跑业界

据官方披露,此次开源的“子曰4”多模态模型在27B参数量级下,专为教育场景深度优化,其面向图像输入的数理推理能力已达到当前同规模模型中的最高水准(SOTA)。在涵盖图表类数学题、物理题等高复杂度视觉-符号联合推理任务中,“子曰4”展现出显著优势。在中文纯文本数理题目测试中,模型准确率提升至81.4%,稳居行业第一梯队。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

27B数理 SOTA 与3秒情感克隆,有道全面开源“子曰4”多模态与 TTS 引擎

▲ 子曰4在多个视觉数理基准上达到同规模模型中最佳水平

图片来源: https://www.php.cn/link/992ac551f746527e9877cc252eac81c8

更具现实意义的是其落地效率的大幅提升。项目负责人指出,新模型引入精细化思维链重设计策略,依托海量高质量精炼推理样本进行定向训练,成功将推理路径中生成的思维链长度压缩达43.2%。

这代表模型能以更少Token消耗、更短推理步骤快速输出答案,显著降低企业在真实业务中部署AI服务所需的算力开销与响应延迟。

27B数理 SOTA 与3秒情感克隆,有道全面开源“子曰4”多模态与 TTS 引擎

▲ 子曰4在多个视觉数理基准上大幅降低了输出token的数量

图片来源: https://www.php.cn/link/992ac551f746527e9877cc252eac81c8

此外,研发团队紧密围绕中国学生日常作业、考试真题及课堂提问等真实学习场景持续打磨,使模型真正具备解决本土化学习痛点的能力,成为更懂中国学子的智能学习伙伴。

TTS引擎全面开源:覆盖14语种,3秒极速克隆,跨语言发音零口音迁移

本次同步开源的语音合成系统,采用前沿的“语音编码器 + 大语言模型”混合架构,面向开发者与内容生产者提供零样本语音克隆与高保真情感语音合成能力。

疯火轮AI
疯火轮AI

一款AI办公效率工具,主要用于营销人的AI工作台,适合需要提升相关任务效率的用户。

下载

当前已完整支持中文、英语、日语、韩语、德语、法语、西班牙语、印尼语、意大利语、泰语、葡萄牙语、俄语、马来语、越南语共14种语言。系统可在不同语种间无缝迁移同一说话人音色,无需额外微调即可保持声纹一致性;合成语音具备母语级自然度与语流连贯性,跨语种克隆过程中无口音残留现象。

在声音复刻方面,“子曰4”TTS实现“即传即用”式全链路支持——用户仅需上传任意一段音频,系统即可在3秒内完成高保真声纹重建。数据显示,该引擎在克隆任务中的识别准确率超97%,音色相似度达85%以上。不仅保留原始说话人的声学特征,还能精准还原其语调起伏与情绪表达,综合性能位居全球同类技术前列。

同时,该开源TTS模型在多样化真实语境中展现出优异鲁棒性,可稳定适配日常对话、新闻播报、企业宣传片、有声读物等多种语音合成需求。

翻译模型质效双优:质量跃升+推理提速80%,打造产业级翻译新基座

作为有道最具积淀的技术模块,翻译模型在本次升级中完成了底层算法与数据体系的双重革新,整体表现再上新台阶。

数据层面,子曰团队构建了超亿级高质量多语言语料库,并由持有英语专业八级证书的专业人员开展多维度人工评测,从源头保障训练数据的语言规范性与领域适配性。

算法层面,模型创新采用“多专家OPD”协同机制,以柔性加权方式融合各领域专家能力;并引入强化学习框架,嵌入格式合规性奖励与语种识别反馈模块,有效缓解传统机器翻译中常见的语义偏移、语种错混等顽疾。

为支撑大规模并发的工业级应用,新版翻译模型集成多项推理加速技术,实测整体响应速度提升达80%。配合大模型自动评估与人工随机抽检相结合的质量监控体系,新一代翻译引擎在网页、图片OCR文本、PDF文档等多元输入场景中,均展现出兼具高精度与高吞吐的卓越性能。

回溯有道AI发展脉络,从“子曰”作为国内首个教育垂直大模型横空出世,推出重塑口语训练范式的“Hi Echo虚拟人口语教练”,到2.0、3.0版本在软硬件生态中的深度整合与规模化落地,有道始终锚定AI与真实场景的强耦合路径。进入2026年,公司加速推进技术产品化进程,接连发布LobsterAI、有道宝库、有道同传Agent、Thinkflow等一系列AI Agent产品,初步建成覆盖全学习链路的AI Agent矩阵。

“子曰4”的全面升级与两大核心模型的彻底开源,不仅极大降低了开发者在多模态理解与语音生成领域的技术门槛,更清晰勾勒出“底层大模型驱动上层Agent生态”的闭环演进路径。有道期待,在全球开发者与开源社区的共同参与下,这一全模态大模型体系将在教育、办公、内容、本地生活等更广阔产业领域,催生实质性生产力跃迁。

附开源地址:

“子曰4”多模态模型:https://www.php.cn/link/992ac551f746527e9877cc252eac81c8

“子曰4“TTS模型:https://www.php.cn/link/de5603b50c3c2dfd66210dec385fa618

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

2026.10.08

0

20

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

2026.09.30

120

10

LLVM RISC-V参数配置教程
LLVM RISC-V参数配置教程

本专题介绍LLVM对RISC-V基础ISA和扩展的支持方式,涵盖RV32、RV64、标准扩展、实验性扩展、厂商扩展、-menable-experimental-extensions和版本差异。

2026.09.30

100

14

LLVM IR中间表示入门指南
LLVM IR中间表示入门指南

本专题整理LLVM IR的核心概念,包括中间表示作用、模块结构、函数、基本块、SSA形式、类型系统和常见语法,帮助新手理解LLVM编译流程中的关键层。

2026.09.30

80

12

PDF转图片方法
PDF转图片方法

需要把 PDF 页面用于上传、预览、分享或图片归档时,PDF 转图片方法专题整理 JPG/PNG 格式选择、逐页导出、清晰度设置、批量下载和结果检查等流程,帮助用户稳定完成 PDF 图片化处理。

2026.09.30

80

26

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

2026.09.29

100

15

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

2026.09.23

300

15

Buffalo框架路由与请求处理实操指南
Buffalo框架路由与请求处理实操指南

本专题讲解Buffalo框架路由与请求处理机制,涵盖路由注册与分组、资源路由、Handler编写规范、Context上下文方法、参数绑定、中间件编写挂载、Session与Cookie读写、Flash消息及错误页面定制方法。

2026.09.23

180

15

Buffalo框架零基础入门教程
Buffalo框架零基础入门教程

本专题整理Buffalo框架入门内容,涵盖Go环境准备、buffalo CLI安装、新项目生成、目录结构说明、dev热加载启动、数据库连接配置与常见报错排查,帮助新手按约定优于配置的思路跑通第一个Buffalo框架应用。

2026.09.23

140

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
扣子入门级教程
扣子入门级教程

共0课时 | 274人学习

学习Agent,从Dify开始
学习Agent,从Dify开始

共0课时 | 142人学习