只读文本的 AI,科学推理能力只有“看图” AI 的 1/3

夏静酱_8587

夏静酱_8587

2026-08-11

437人浏览

转载

视觉预训练只需要约四分之一的文档 token,便能取得远超文本预训练的增益。

来自中科大与上海人工智能实验室联合团队的这一实验结果,证明了在真实的训练语料中,图片往往承载着文字无法无损翻译的视觉逻辑。

若仅靠 OCR 将立体知识强制降维为一维文本,模型最终捕获的不过是知识的碎片。

为了打破这一局限,团队提出了一种全新的视觉预训练范式:在连续视觉表征空间中" 预测下一个视觉单元 ",让模型能够直接从图文交织的视觉文档中汲取最原始、最完整的科学知识。

目前,这项技术已成功应用于上海人工智能实验室 Intern-S2-Preview 35B/397B 系列多模态大模型的预训练中,有效提升了模型的科学推理与多模态理解能力。值得一提的是,相关研发均基于国产昇腾算力平台完成,并成功实现了面向大规模预训练的深度适配与优化。

 只读文本的 AI,科学推理能力只有“看图” AI 的 1/3

△在统一表征空间进行视觉预训练

 只读文本的 AI,科学推理能力只有“看图” AI 的 1/3

△相同语料在视觉预训练和文本预训练对比示意图实验发现发现一:从视觉文档中,也能学到更强的语言智能

研究首先验证了一个核心预期:如果原始文档页面比解析后的纯文本保留了更完整的知识,那么,直接从这些视觉文档中学习,也应当为模型带来更强的科学推理能力。

实验结果验证了这一判断。在保持训练设置一致的情况下,视觉预训练(VP)在 MMLU-Pro、GPQA Diamond 等纯文本推理基准上,全面优于纯文本预训练(TP),且该趋势在不同模型架构上稳定出现。

 只读文本的 AI,科学推理能力只有“看图” AI 的 1/3

△推理能力评测对比

这说明:模型学习到的并不只是图像的表面特征,而是视觉与文本内容共同承载的知识。

发现二:视觉预训练的收益随训练规模持续增长,呼应 Scaling law

一种预训练范式能否支撑基础模型发展,关键不仅在于它是否有效,更在于它能否从不断扩大的数据与计算规模中持续获益。

实验表明,VP 展现出了清晰的 Scaling 趋势:随着科学文档训练量持续增加,VP 相对于文本预训练的优势并未趋于饱和,而是在多个基准上稳定扩大。

 只读文本的 AI,科学推理能力只有“看图” AI 的 1/3

△视觉预训练增益随着训练规模增大

进一步分析显示,VP 的收益与页面中的视觉结构密度密切相关。在以文字为主、视觉结构较少的样本上,VP 与文本预训练表现接近;随着视觉信息的占比增加,VP 的优势显著扩大。

更重要的是,这种增长建立在更紧凑的视觉表示之上。对于完全相同的科学 PDF,解析后的文本约包含 800 亿个 Token,而视觉表示仅包含约 200 亿个视觉 Token。换言之,VP 仅使用约四分之一的文档 Token,便取得了超过文本预训练的效果,体现出更高的信息密度与扩展效率。

发现三:无需显式图文配对监督,也能促进跨模态对齐

传统多模态预训练通常依赖大量图文对、图片描述或人工标注。VP 使用的却只是未经标注的原始文档页面,没有显式的图文配对监督。

尽管如此,经过视觉预训练后,模型中的视觉与文字表征仍然变得更加接近:配对图文表征的余弦相似度由 0.631 提升至 0.907,表征空间的全局结构与局部邻域也呈现出更强的一致性。

这种跨模态对齐进一步迁移到了实际任务中。在 MMMU-Pro 等多模态基准上,VP 在不同模型架构下均优于文本预训练。这意味着,模型在已有语言知识与视觉结构之间建立了联系。

 只读文本的 AI,科学推理能力只有“看图” AI 的 1/3

△多模态能力评测对比方法介绍

如果说传统语言模型的训练是 " 根据上文猜下一个词 ",VP 做的就是 " 根据前面的视觉内容猜下一个视觉表征 "。二者形式相似,区别在于预测对象从离散文字 Token 变成了连续视觉潜表征,具体实现如下。

第一步,让原始页面以 " 视觉序列 " 进入模型。

原始 PDF 先被渲染成页面图像,再由冻结的视觉编码器转换为一组连续特征。视觉编码器保持不变,相当于提供稳定的 " 答案空间 ";模型学习的不是还原每一个像素,而是预测更抽象的内容表征,从而减少颜色、噪声等低层细节的干扰。

第二步,只保留有信息的前景内容。

科学文档中页边距、空白区占比很高。系统依据局部像素方差和亮度过滤低信息 Patch,只保留文字、公式、图表、表格等前景区域,并按页面从左到右、从上到下的顺序排列,同时保留位置关系。

第三步,预测 " 下一个视觉潜表征 "。

前景特征通过输入投影进入语言模型。在因果注意力下,当前位置只能看到前面的视觉内容;模型的隐藏状态再经轻量预测头,去匹配下一块前景特征。训练采用带批内负样本的对比损失:预测结果既要靠近正确目标,也要与其他 Patch 区分开。

第四步,让文字和视觉共用同一个 " 大脑 "。

文本样本继续做下一词预测,视觉样本做下一视觉潜表征预测,两类数据按固定比例交替进入同一自回归骨干。训练时更新共享语言模型、输入投影和预测头,视觉编码器保持冻结。因此,视觉学习信号会直接更新承载语言能力的模型参数,而不是停留在外挂视觉模块中。

未来,随着预测目标进一步拓展到图像、视频与交互数据,模型或许能够逐步建立对现实更完整的内部表征。视觉预训练正是迈向这一方向的一步。改变的不只是输入模型的数据形式,更是模型获取知识、建立预测与理解世界的方式。

论文标题:Scalable Visual Pretraining for Language Intelligence

论文链接:https://arxiv.org/abs/2607.09657

HuggingFace 链接:https://huggingface.co/papers/2607.09657

模型链接:https://huggingface.co/internlm/Intern-S2-Preview

https://huggingface.co/internlm/Intern-S2-Preview-397B

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

— 完 —

请在工作日发送邮件至:ai@qbitai.com,标题注明,并告诉我们:你是谁,从哪来,投稿内容附上项目 / 主页链接,以及联系方式。

我们会 ( 尽量 ) 及时回复你 : )

点亮星标

科技前沿进展每日见

相关专题

更多
Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

120

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

100

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

60

15

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

2026.11.06

160

12

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

2026.11.06

140

13

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

2026.11.06

120

10

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

2026.11.05

100

12

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

2026.11.05

100

12

DBeaver连接创建与配置教程
DBeaver连接创建与配置教程

本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。

2026.11.04

100

16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程