谷歌MIT最新研究显示:获取高质量数据并非难事,大型模型是解决之道

云涛君_4820

云涛君_4820

2024-01-14

1478人浏览

转载

获取高质量数据,已经成为当前大模型训练的一大瓶颈。

前几天,OpenAI被《纽约时报》起诉,并要求索赔数十亿美元。诉状中,列举了GPT-4抄袭的多项罪证。

甚至,《纽约时报》还呼吁摧毁几乎所有的GPT等大模型。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

一直以来,AI界多位大佬认为「合成数据」或许是解决这个问题的最优解。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

此前,谷歌团队还提出了用LLM代替人类标记偏好的方法RLAIF,效果甚至不输人类。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

现如今,谷歌MIT的研究人员发现,从大模型中学习可以得到使用真实数据训练的最佳模型的表征。

这一最新方法称SynCLR,一种完全从合成图像和合成描述学习虚拟表征的方法,无需任何真实数据。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

论文地址:https://arxiv.org/abs/2312.17742

实验结果表明,通过SynCLR方法学习到的表征,能够与OpenAI的CLIP在ImageNet 上的传输效果一样好。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

从生成模型中学习

目前表现最好的「视觉表征」学习方法依赖于大规模的实际数据集。然而,真实数据的收集却有不少的困难。

为了降低收集数据的成本,研究人员本文中提出了一个问题:

从现成的生成模型中采样的合成数据,是否是一条通往大规模策划数据集的可行之路,从而训练出最先进的视觉表征?

Stable Diffusion
Stable Diffusion

Stable Diffusion AI 绘画助手,精通 SD WebUI、ComfyUI、提示词工程、LoRA 训练

下载

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

与直接从数据中学习不同,谷歌研究人员称这种模式为「从模型中学习」。作为建立大规模训练集的数据源,模型有几个优势:

- 通过其潜在变量、条件变量和超参数,为数据管理提供了新的控制方法。

- 模型也更容易共享和存储(因为模型比数据更容易压缩),并且可以产生无限数量的数据样本。

越来越多的文献研究了生成模型的这些特性和其他优点和缺点,并将其作为训练下游模型的数据源。

其中一些方法采用混合模式,即混合真实数据集和合成数据集,或需要一个真实数据集来生成另一个合成数据集。

其他方法试图从纯粹的「合成数据」中学习表征,但远远落后于表现最好的模型。

论文中,研究人员提出的最新方法,使用生成模型重新定义可视化类的粒度。

如图2所示,使用2个提示生成了四张图片「一只戴着墨镜和沙滩帽的金毛猎犬骑着自行车」和「一只可爱的金毛猎犬坐在寿司做成的房子里」。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

传统的自监督方法(如Sim-CLR)会将这些图像视为不同的类,不同图像的嵌入会被分开,而不会明确考虑图像之间的共享语义。

另一个极端是,监督学习方法(即SupCE)会将所有这些图像视为单一类(如「金毛猎犬」)。这就忽略了这些图像在语义上的细微差别,例如在一对图像中狗在骑自行车,而在另一对图像中狗坐在寿司屋内。

相反,SynCLR方法将描述视为类,即每个描述一个可视化类。

这样,我们就可以按照「骑自行车」和「坐在寿司店里」这两个概念对图片进行分组。

这种粒度很难在真实数据中挖掘,因为收集由给定描述的多张图片并非易事,尤其是当描述数量增加时。

然而,文本到图像的扩散模型从根本上就具备这种能力。

只需对相同的描述设定条件,并使用不同的噪声输入,文本到图像的扩散模型就能生成与相同描述相匹配的不同图像。

具体来说,作者研究了在没有真实图像或文本数据的情况下,学习视觉编码器的问题。

最新方法依赖3个关键资源的利用:一个语言生成模型(g1),一个文本到图像的生成模型(g2),以及一个经过整理的视觉概念列表(c)。

前处理包括三个步骤:

(1)使用(g1)合成一组全面的图像描述T,其中涵盖了C中的各种视觉概念;

(2)对于T中的每个标题,使用(g2)生成多个图像,最终生成一个广泛的合成图像数据集X;

(3)在X上进行训练,以获得视觉表示编码器f。

然后,分别使用llama-27b和Stable Diffusion 1.5作为(g1)和(g2),因为其推理速度很快。

合成描述

为了利用强大的文本到图像模型的能力,来生成大量的训练图像数据集,首先需要一个不仅精确描述图像而且展示多样性的描述集合,以包含广泛的视觉概念。

对此,作者开发了一种可扩展的方法来创建如此大量的描述集,利用大模型的上下文学习能力。

如下展示了三个合成模板的示例。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

如下是使用Llama-2生成上下文描述,研究人员在每次推理运行中随机抽取三个上下文示例。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

合成图像

对于每个文本描述,研究人员都会用不同的随机噪声启动反向扩散过程,从而生成各种图像。

在此过程中,无分类器引导(CFG)比例是一个关键因素。

CFG标度越高,样本的质量和文本与图像之间的一致性就越好,而标度越低,样本的多样性就越大,也就越符合基于给定文本的图像原始条件分布。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

表征学习

论文中,表征学习的方法建立在StableRep的基础上。

作者提出的方法的关键组成部分是多正对比学习损失,它的工作原理是对齐(在嵌入空间)从同一描述生成的图像。

另外,研究中还结合了其他自监督学习方法的多种技术。

与OpenAI的CLIP相媲美

实验评估中,研究人员首先进行消融研究,以评估管道内各种设计和模块的有效性,然后继续扩大合成数据的量。

下图是不同描述合成策略的比较。

研究人员报告了9个细粒度数据集的ImageNet线性评估准确性和平均准确性。这里的每个项目包括1000万个描述和每个描述4张图片。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

下表是ImageNet线性评估与细粒度分类的比较。

尽管只使用了合成数据,但SynCLR与OpenAI的CLIP和DINO v2模型取得了不相上下的结果。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

下表是在相同的合成数据上比较SynCLR和CLIP,可以看出,SynCLR明显优于CLIP。

具体设置为,每个标题生成4个图像,SynCaps-150M为SynCLR和CLIP提供了更好的表示。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

PCA可视化如下。按照DINO v2,研究人员计算了同一组图像的斑块之间的PCA,并根据其前3个分量进行着色。

与DINO v2相比,SynCLR对汽车和飞机的绘制的图更为准确,而对能绘制的图则稍差一些。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

图6和图7中,分别展示了不同训练规模下的ImageNet线性准确率,以及不同训练参数规模下的精细分类。

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

为什么要从生成模型中学习?

一个令人信服的原因是,生成模型可以像数百个数据集一样同时运作,能够为策划训练数据提供了一种方便有效的方法。

总而言之,最新论文研究了视觉表征学习的新范式——从生成模型中学习。

在没有使用任何实际数据的情况下,SynCLR学习到的视觉表征,与最先进的通用视觉表征学习器学习到的视觉表征不相上下。

相关文章

谷歌浏览器
谷歌浏览器

谷歌浏览器Google Chrome是一款可让您更快速、轻松且安全地使用网络的浏览器。Google Chrome的设计超级简洁,使用起来得心应手。这里提供了谷歌浏览器纯净安装包,有需要的小伙伴快来保存下载体验吧!

下载

相关标签:

stable diffusion

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.16

5690

6

Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

2026.11.20

0

7

Navicat入门教程大全
Navicat入门教程大全

本专题整理Navicat入门教程,从认识软件界面到开展数据库操作,介绍初次使用需要了解的知识和方法。内容兼顾连接配置、数据管理及日常使用中的疑问,方便用户按学习进度查阅,为后续实践和独立操作打好基础。

2026.11.20

0

17

Navicat数据库连接配置指南
Navicat数据库连接配置指南

从确认数据库信息到建立可用连接,本专题串联Navicat连接数据库的相关知识和操作方法。既有初次配置时需要了解的基础内容,也有连接后的检查思路,方便用户按实际需求查阅教程,逐步熟悉数据库连接的设置流程。

2026.11.20

0

10

PHP8.6数组与数据处理教程
PHP8.6数组与数据处理教程

本专题汇总PHP8.6数组与数据处理教程,涵盖CSV读取和导出、引用遍历删除、array_filter回调模式、配置键名冲突、pathinfo文件名校验、GMP大整数进制转换及UTF-8正则筛选,说明升级兼容变化、输入范围和失败处理方法。

2026.11.20

0

8

PHP8.6升级迁移教程
PHP8.6升级迁移教程

本专题汇总PHP8.6升级迁移与弃用接口改造教程,涵盖反射调用、对象属性赋值、标识符更名、构造函数与__debugInfo调整,以及插件类名检查、常量导出、ArrayIterator排序、SPL和DTO查询参数转换,帮助梳理弃用提示并完成代码兼容改造。

2026.11.20

0

10

PHP8.6安装配置与FPM运维教程
PHP8.6安装配置与FPM运维教程

本专题汇总PHP8.6正式版安装部署与FPM运维教程,涵盖Linux并存安装、独立ini配置、扩展重新编译、Nginx切换与回滚、FPM状态监控和慢日志排查,以及环境变量、请求超时、OPcache刷新和预加载配置。

2026.11.20

0

10

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

2026.11.20

20

8

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

60

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Navicat Monitor 3 用户手册
Navicat Monitor 3 用户手册

共0课时 | 0人学习

Navicat BI 3 Windows 用户手册
Navicat BI 3 Windows 用户手册

共0课时 | 0人学习