搜索
首页科技周边人工智能UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

仅靠视觉(像素)模型能走多远?UC 伯克利、约翰霍普金斯大学的新论文探讨了这一问题,并展示了大型视觉模型(LVM)在多种 CV 任务上的应用潜力。

最近一段时间以来,GPT 和 LLaMA 等大型语言模型 (LLM) 已经风靡全球。 

构建大型视觉模型 (LVM) 是一个备受关注的问题,我们需要什么来实现它呢?

LLaVA 等视觉语言模型所提供的思路很有趣,也值得探索,但根据动物界的规律,我们已经知道视觉能力和语言能力二者并不相关。比如许多实验都表明,非人类灵长类动物的视觉世界与人类的视觉世界非常相似,尽管它们和人类的语言体系「两模两样」。

最新的一篇论文讨论了另一个问题的答案,即我们仅靠像素本身能走多远。该论文由加州大学伯克利分校和约翰霍普金斯大学的研究人员撰写

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

  • 论文链接:https://arxiv.org/abs/2312.00785

  • 项目主页:https://yutongbai.com/lvm.html

研究者试图在 LVM 中效仿的 LLM 的关键特征:1)根据数据的规模增长进行为了扩展业务,我们需要寻找新的市场机会。我们计划进一步扩大产品线,以满足不断增长的需求。同时,我们将加强市场营销策略,提高品牌知名度。通过积极参与行业展览和推广活动,我们将努力开拓更多的客户群体。我们相信,通过这些努力,我们能够取得更大的成就并实现持续增长,2)通过提示(上下文学习)灵活地指定任务。 

他们指定了三个主要组件,即数据、架构和损失函数。

在数据上,研究者想要利用视觉数据中显著的多样性。首先只是未标注的原始图像和视频,然后利用过去几十年产生的各种标注视觉数据源(包括语义分割、深度重建、关键点、多视图 3D 对象等)。他们定义了一种通用格式 —— 「视觉句子」(visual sentence),用它来表征这些不同的注释,而不需要任何像素以外的元知识。训练集的总大小为 16.4 亿图像 / 帧。

在架构上,研究者使用大型 transformer 架构(30 亿参数),在表示为 token 序列的视觉数据上进行训练,并使用学得的 tokenizer 将每个图像映射到 256 个矢量量化的 token 串。

在损失函数上,研究者从自然语言社区汲取灵感,即掩码 token 建模已经「让位给了」序列自回归预测方法。一旦图像、视频、标注图像都可以表示为序列,则训练的模型可以在预测下一个 token 时最小化交叉熵损失。

通过这一极其简单的设计,研究者呈现了以下一些值得注意的行为:

  • 随着模型尺寸和数据大小的增加,模型会自动展现适当的为了扩展业务,我们需要寻找新的市场机会。我们计划进一步扩大产品线,以满足不断增长的需求。同时,我们将加强市场营销策略,提高品牌知名度。通过积极参与行业展览和推广活动,我们将努力开拓更多的客户群体。我们相信,通过这些努力,我们能够取得更大的成就并实现持续增长行为

  • 现在很多不同的视觉任务可以通过在测试时设计合适的 prompt 来解决。虽然不像定制化、专门训练的模型那样获得高性能的结果, 但单一视觉模型能够解决如此多的任务这一事实非常令人鼓舞;

  • 大量未经监督的数据对各种视觉任务的性能都有显著的帮助

  • 在处理分布外数据和执行新任务时,已经出现了通用视觉推理能力存在的迹象,但仍需要进一步的研究

论文共同一作、约翰霍普金斯大学 CS 四年级博士生、伯克利访问博士生 Yutong Bai 发推宣传了她们的工作。

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

原文图源来自推特账号:https://twitter.com/YutongBAI1002/status/1731512110247473608

在论文作者中,后三位都是 UC 伯克利在 CV 领域的资深学者。Trevor Darrell 教授是伯克利人工智能研究实验室 BAIR 创始联合主任、Jitendra Malik 教授获得过 2019 年 IEEE 计算机先驱奖、 Alexei A. Efros 教授尤以最近邻研究而闻名。

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

从左到右依次为 Trevor Darrell、Jitendra Malik、Alexei A. Efros。

方法介绍

文章使用两阶段方法:1)训练一个大型视觉tokenizer(对单个图像进行操作),能够将每个图像转换为一系列视觉token;2)在视觉句子上训练自回归transformer模型,每个句子都表示为一系列token。方法如图2所示

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

图像 Token 化

为了将 Transformer 模型应用于图像,典型的操作包括:将图像划分为 patch,并将其视为序列;或者使用预训练的图像 tokenizer,例如 VQVAE 或 VQGAN,将图像特征聚集到离散 token 网格中。本文采用后一种方法,即用 VQGAN 模型生成语义 token。

LVM 框架包括编码和解码机制,还具有量化层,其中编码器和解码器是用卷积层构建的。编码器配备了多个下采样模块来收缩输入的空间维度,而解码器配备了一系列等效的上采样模块以将图像恢复到其初始大小。对于给定的图像,VQGAN tokenizer 会生成 256 个离散 token。

VQGAN 架构在本文中采用了 Chang 等人提出的实现细节,并遵循了他们的设置。具体而言,下采样因子为 f=16,码本大小为 8192。这意味着对于大小为 256×256 的图像,VQGAN tokenizer 会生成 16×16=256 个 token,每个 token 可以采用 8192 个不同的值。此外,本文在 LAION 5B 数据集的 1.5B 子集上进行了 tokenizer 的训练

视觉句子序列建模

使用 VQGAN 将图像转换为离散 token 后,本文通过将多个图像中的离散 token 连接成一维序列,并将视觉句子视为统一序列。重要的是,所有视觉句子都没有进行特殊处理 —— 即不使用任何特殊的 token 来指示特定的任务或格式。 

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

视觉句子的功能是将不同的视觉数据格式化成统一的图像序列结构

实现细节。在将视觉句子中的每个图像 token 化为 256 个 token 后,本文将它们连接起来形成一个 1D token 序列。在视觉 token 序列上,本文的 Transformer 模型实际上与自回归语言模型相同,因此他们采用 LLaMA 的 Transformer 架构。

本内容使用4096个token的上下文长度,与语言模型相似。在每个视觉句子的开头添加一个[BOS](句子开头)token,末尾添加一个[EOS](句子结尾)token,并在训练期间使用序列拼接以提高效率

本文在整个 UVDv1 数据集(4200 亿个 token)上训练模型,总共训练了 4 个具有不同参数数量的模型:3 亿、6 亿、10 亿和 30 亿。 

实验结果需要被重写

该研究进行实验评估了模型的为了扩展业务,我们需要寻找新的市场机会。我们计划进一步扩大产品线,以满足不断增长的需求。同时,我们将加强市场营销策略,提高品牌知名度。通过积极参与行业展览和推广活动,我们将努力开拓更多的客户群体。我们相信,通过这些努力,我们能够取得更大的成就并实现持续增长能力,以及理解和回答各种任务的能力。

为了扩展业务,我们需要寻找新的市场机会。我们计划进一步扩大产品线,以满足不断增长的需求。同时,我们将加强市场营销策略,提高品牌知名度。通过积极参与行业展览和推广活动,我们将努力开拓更多的客户群体。我们相信,通过这些努力,我们能够取得更大的成就并实现持续增长

根据图3所示,该研究首先对不同尺寸的LVM进行了训练损失的检查

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

如下图 4 所示,较大的模型在所有任务中复杂度都是较低的,这表明模型的整体性能可以迁移到一系列下游任务上。

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

根据图5所示,每个数据组件都对下游任务有重要的影响。LVM不仅可以从更大的数据中受益,而且还能随着数据集的多样性而改进

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

重写内容,而不改变原意,需要将语言重写为中文。 应该出现原句

为了测试 LVM 对各种 prompt 的理解能力,该研究首先在序列推理任务上对 LVM 进行评估实验。其中,prompt 非常简单:向模型提供 7 张图像的序列,要求它预测下一张图像,实验结果需要被重写如下图 6 所示:

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

该研究还将给定类别的项目列表视为一个序列,让 LVM 预测同一类的图像,实验结果需要被重写如下图 15 所示:

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

那么,需要多少上下文(context)才能准确预测后续帧?

在这项研究中,我们对模型的帧生成困惑度进行了评估,这是通过给出不同长度(1 到 15 帧)的上下文 prompt 来实现的。结果显示,困惑度随着帧数的增加而逐渐改善。具体数据如下图 7 所示,困惑度从 1 帧到 11 帧有明显的改善,之后趋于稳定(62.1 → 48.4)

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

Analogy Prompt

这项研究还测试了LVM的高级解释能力,通过评估更复杂的提示结构,如类比提示

下图 8 显示了对许多任务进行 Analogy Prompt 的定性结果:

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

根据与视觉 Prompting 的比较,可以看出序列 LVM 在几乎所有任务上都比以前的方法更优

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

合成任务。图9显示了使用单个提示将多个任务组合在一起的结果

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

其他 prompt

研究者试图通过向模型提供它以往未见过的各种 prompt,来观察模型的为了扩展业务,我们需要寻找新的市场机会。我们计划进一步扩大产品线,以满足不断增长的需求。同时,我们将加强市场营销策略,提高品牌知名度。通过积极参与行业展览和推广活动,我们将努力开拓更多的客户群体。我们相信,通过这些努力,我们能够取得更大的成就并实现持续增长能力到底怎样。下图 10 展示了一些运行良好的此类 prompt。

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

下图 11 展示了一些用文字难以描述的 prompt,这些任务上 LVM 最终可能会胜过 LLM。

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

在非语言人类 IQ 测试中,图 13 展示了典型视觉推理问题的初步定性结果

UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究

阅读原文,了解更多细节。

以上是UC伯克利成功开发通用视觉推理大模型,三位资深学者合力参与研究的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:机器之心。如有侵权,请联系admin@php.cn删除
AI技能差距正在减慢供应链AI技能差距正在减慢供应链Apr 26, 2025 am 11:13 AM

经常使用“ AI-Ready劳动力”一词,但是在供应链行业中确实意味着什么? 供应链管理协会(ASCM)首席执行官安倍·埃什肯纳齐(Abe Eshkenazi)表示,它表示能够评论家的专业人员

一家公司如何悄悄地努力改变AI一家公司如何悄悄地努力改变AIApr 26, 2025 am 11:12 AM

分散的AI革命正在悄悄地获得动力。 本周五在德克萨斯州奥斯汀,Bittensor最终游戏峰会标志着一个关键的时刻,将分散的AI(DEAI)从理论转变为实际应用。 与闪闪发光的广告不同

NVIDIA释放NEMO微服务以简化AI代理开发NVIDIA释放NEMO微服务以简化AI代理开发Apr 26, 2025 am 11:11 AM

企业AI面临数据集成挑战 企业AI的应用面临一项重大挑战:构建能够通过持续学习业务数据来保持准确性和实用性的系统。NeMo微服务通过创建Nvidia所描述的“数据飞轮”来解决这个问题,允许AI系统通过持续接触企业信息和用户互动来保持相关性。 这个新推出的工具包包含五个关键微服务: NeMo Customizer 处理大型语言模型的微调,具有更高的训练吞吐量。 NeMo Evaluator 提供针对自定义基准的AI模型简化评估。 NeMo Guardrails 实施安全控制,以保持合规性和适当的

AI为艺术与设计的未来描绘了一幅新图片AI为艺术与设计的未来描绘了一幅新图片Apr 26, 2025 am 11:10 AM

AI:艺术与设计的未来画卷 人工智能(AI)正以前所未有的方式改变艺术与设计领域,其影响已不仅限于业余爱好者,更深刻地波及专业人士。AI生成的艺术作品和设计方案正在迅速取代传统的素材图片和许多交易性设计活动中的设计师,例如广告、社交媒体图片生成和网页设计。 然而,专业艺术家和设计师也发现AI的实用价值。他们将AI作为辅助工具,探索新的美学可能性,融合不同的风格,创造新颖的视觉效果。AI帮助艺术家和设计师自动化重复性任务,提出不同的设计元素并提供创意输入。 AI支持风格迁移,即将一种图像的风格应用

Zoom如何彻底改变与Agent AI的合作:从会议到里程碑Zoom如何彻底改变与Agent AI的合作:从会议到里程碑Apr 26, 2025 am 11:09 AM

Zoom最初以其视频会议平台而闻名,它通过创新使用Agentic AI来引领工作场所革命。 最近与Zoom的CTO XD黄的对话揭示了该公司雄心勃勃的愿景。 定义代理AI 黄d

对大学的存在威胁对大学的存在威胁Apr 26, 2025 am 11:08 AM

AI会彻底改变教育吗? 这个问题是促使教育者和利益相关者的认真反思。 AI融入教育既提出了机遇和挑战。 正如科技Edvocate的马修·林奇(Matthew Lynch)所指出的那样

原型:美国科学家正在国外寻找工作原型:美国科学家正在国外寻找工作Apr 26, 2025 am 11:07 AM

美国科学研究和技术发展或将面临挑战,这或许是由于预算削减导致的。据《自然》杂志报道,2025年1月至3月期间,美国科学家申请海外工作的数量比2024年同期增加了32%。此前一项民意调查显示,75%的受访研究人员正在考虑前往欧洲和加拿大寻找工作。 过去几个月,数百项NIH和NSF的拨款被终止,NIH今年的新拨款减少了约23亿美元,下降幅度接近三分之一。泄露的预算提案显示,特朗普政府正在考虑大幅削减科学机构的预算,削减幅度可能高达50%。 基础研究领域的动荡也影响了美国的一大优势:吸引海外人才。35

所有有关打开AI最新的GPT 4.1家庭的信息 - 分析Vidhya所有有关打开AI最新的GPT 4.1家庭的信息 - 分析VidhyaApr 26, 2025 am 10:19 AM

Openai推出了强大的GPT-4.1系列:一个专为现实世界应用设计的三种高级语言模型家族。 这种巨大的飞跃提供了更快的响应时间,增强的理解和大幅降低了成本

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

将Eclipse与SAP NetWeaver应用服务器集成。

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

mPDF

mPDF

mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具