- 论文链接：https://browse.arxiv.org/pdf/2211.13976.pdf
- GitHub：https://github.com/Vanint/DatasetExpansion
众所周知，深度神经网络的性能很大程度上依赖于训练数据的数量和质量，这使得深度学习难以广泛地应用在小数据任务上。例如，在医疗等领域的小数据应用场景中，人力收集和标注大规模的数据集往往费时费力。为了解决这一数据稀缺问题并最小化数据收集成本，该论文探索了一个数据集扩增新范式，旨在自动生成新数据从而将目标任务的小数据集扩充为更大且更具信息量的大数据集。这些扩增后的数据集致力于提升模型的性能和泛化能力，并能够用于训练不同的网络结构
该工作发现只是利用现存方法无法很好地扩充数据集。（1）随机数据增强主要改变图片的表面视觉特征，但不能创造具有新物体内容的图片（如下图的荷花依然是同一个，没有新荷花的生成），因此所引入的信息量有限。更为严重的是，随机数据增强可能会裁剪医学图像的病灶（变）位置，导致样本的重要信息减少，甚至产生噪声数据。（2）直接利用预训练的生成（扩散）模型进行数据集扩增也不能很好地提升模型在目标任务上的性能。这是因为这些生成模型的预训练数据往往与目标数据存在较大的分布差异，这导致它们所生成的数据与目标任务存在一定的分布和类别差距，无法确保所生成的样本带有正确的类别标签且对模型训练有益。
为了更有效地进行数据集扩增，研究人员探索了人类的联想学习。当人类拥有物体的先验知识时，可以轻松地想象出该物体的不同变体，例如下图中狗子在不同种类、不同颜色、不同形状或不同背景下的变体。这种想象学习的过程对于数据集扩增非常有启发性，因为它不仅仅是简单地扰动图片中动物体的外观，而是应用了丰富的先验知识来创建具有新信息量的变体图片
然而，我们无法直接建模人类作为先验模型来进行数据想象。但幸运地是，近期的生成模型（如 Stable Diffusion，DALL-E2）已经展现了强大的拟合大规模数据集分布的能力，能够生成内容丰富且逼真的图片。这启发了该论文使用预训练的生成模型作为先验模型，利用它们强大的先验知识来对小数据集进行高效地数据联想和扩增。
基于上述想法，该工作提出了一个新的指导式想象扩增框架（Guided Imagination Framework, GIF）。该方法能够有效提升深度神经网络在自然和医疗图片任务上的分类性能和泛化能力，并极大地减少因人工数据收集和标注所带来的巨大成本。同时，所扩增的数据集也有助于促进模型的迁移学习，并缓解长尾问题。
接下来让我们看看，这一数据集扩增新范式是怎么设计的。
方法
数据集扩增的挑战和指导标准 设计数据集扩增方法会有两个关键挑战：（1）如何使生成的样本带有正确的类别标签？（2）如何确保生成的样本带有新的信息量，从而促进模型训练？为了解决这两个挑战，该工作通过大量的实验发现了两个扩增指导标准：（1）类别一致的信息增强；（2）样本多样性提升。
方法框架 基于所发现扩增指导标准，该工作提出了指导式想象扩增框架（GIF）。对于每个输入的种子样本 x，GIF 首先利用先验生成模型的特征提取器提取样本特征 f，并对该特征进行噪音扰动:
。设置噪音(z,b)最简单的方式是采用高斯随机噪声，但是它无法确保所生成的样本具有正确的类别标签并带来更多的信息量。因此，为了进行有效的数据集扩增，GIF 基于其发现的扩增指导标准对噪声扰动进行优化，即
。
所用到的扩增指导标准实现如下。类一致的信息量指标：
；样本多样性指标：
。通过最大化这两个指标，GIF 能够有效优化噪声扰动，从而生成既保持类别一致性，又带来更大信息量的样本。
实验
扩增有效性 GIF 具有更强的扩增有效性：GIF-SD 在 6 个自然数据集上平均提高了 36.9% 分类精度，并在 3 个医疗数据集上平均提高了 13.5% 分类精度。
扩增效率 GIF 具有更强的扩增有效率：在 Cars 和 DTD 数据集上，使用 GIF-SD 进行 5 倍扩增的效果甚至超过了使用随机数据增强进行 20 倍扩增的效果。
可视化结果 现有的数据增强方法无法生成新的图像内容，而 GIF 可以较好地生成带有新内容的样本。
现有的增强方法可能会削减医学图像中病变位置，导致样本信息减少并产生噪声，而GIF可以更好地保留它们的类别语义
计算和时间成本 与人工数据收集和标注相比，GIF 能够极大地降低数据集扩增的时间和成本。
扩增数据的通用性 一旦完成扩增，这些数据集可以直接用于训练各种不同的神经网络模型结构。
提升模型泛化能力 GIF 有助于提升模型的分布外泛化性能（OOD generalization）。
缓解长尾问题 GIF 有助于缓解长尾问题。
安全性检测 GIF 生成的图像是安全且无害的。
基于上述实验结果，我们有理由相信通过模拟人类的类比与想象学习，该论文所设计的方法能够有效地扩增小数据集，从而提升深度神经网络在小数据任务场景上的落地和应用。
以上是引入全新的GIF框架：以人类为榜样，数据集扩增的新范式已经到来的详细内容。更多信息请关注PHP中文网其他相关文章！
从VAE到扩散模型：一文解读以文生图新范式Apr 08, 2023 pm 08:41 PM1 前言在发布DALL·E的15个月后，OpenAI在今年春天带了续作DALL·E 2，以其更加惊艳的效果和丰富的可玩性迅速占领了各大AI社区的头条。近年来，随着生成对抗网络（GAN）、变分自编码器（VAE）、扩散模型（Diffusion models）的出现，深度学习已向世人展现其强大的图像生成能力；加上GPT-3、BERT等NLP模型的成功，人类正逐步打破文本和图像的信息界限。在DALL·E 2中，只需输入简单的文本（prompt），它就可以生成多张1024*1024的高清图像。这些图像甚至
找不到中文语音预训练模型？中文版 Wav2vec 2.0和HuBERT来了Apr 08, 2023 pm 06:21 PMWav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等语音预训练模型，通过在多达上万小时的无标注语音数据（如 Libri-light ）上的自监督学习，显著提升了自动语音识别（Automatic Speech Recognition, ASR），语音合成（Text-to-speech, TTS）和语音转换（Voice Conversation，VC）等语音下游任务的性能。然而这些模型都没有公开的中文版本，不便于应用在中文语音研究场景。 WenetSpeech [4] 是
普林斯顿陈丹琦：如何让「大模型」变小Apr 08, 2023 pm 04:01 PM“Making large models smaller”这是很多语言模型研究人员的学术追求，针对大模型昂贵的环境和训练成本，陈丹琦在智源大会青源学术年会上做了题为“Making large models smaller”的特邀报告。报告中重点提及了基于记忆增强的TRIME算法和基于粗细粒度联合剪枝和逐层蒸馏的CofiPruning算法。前者能够在不改变模型结构的基础上兼顾语言模型困惑度和检索速度方面的优势；而后者可以在保证下游任务准确度的同时实现更快的处理速度，具有更小的模型结构。陈丹琦 普
解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉TransformerApr 09, 2023 pm 02:01 PM由于复杂的注意力机制和模型设计，大多数现有的视觉 Transformer（ViT）在现实的工业部署场景中不能像卷积神经网络（CNN）那样高效地执行。这就带来了一个问题：视觉神经网络能否像 CNN 一样快速推断并像 ViT 一样强大？近期一些工作试图设计 CNN-Transformer 混合架构来解决这个问题，但这些工作的整体性能远不能令人满意。基于此，来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer——Next-ViT。从延迟 / 准确性权衡的角度看，
Stable Diffusion XL 现已推出—有什么新功能，你知道吗？Apr 07, 2023 pm 11:21 PM3月27号，Stability AI的创始人兼首席执行官Emad Mostaque在一条推文中宣布，Stable Diffusion XL 现已可用于公开测试。以下是一些事项：“XL”不是这个新的AI模型的官方名称。一旦发布稳定性AI公司的官方公告，名称将会更改。与先前版本相比，图像质量有所提高与先前版本相比，图像生成速度大大加快。示例图像让我们看看新旧AI模型在结果上的差异。Prompt: Luxury sports car with aerodynamic curves, shot in a
什么是Transformer机器学习模型？Apr 08, 2023 pm 06:31 PM译者 | 李睿审校 | 孙淑娟近年来， Transformer 机器学习模型已经成为深度学习和深度神经网络技术进步的主要亮点之一。它主要用于自然语言处理中的高级应用。谷歌正在使用它来增强其搜索引擎结果。OpenAI 使用 Transformer 创建了著名的 GPT-2和 GPT-3模型。自从2017年首次亮相以来，Transformer 架构不断发展并扩展到多种不同的变体，从语言任务扩展到其他领域。它们已被用于时间序列预测。它们是 DeepMind 的蛋白质结构预测模型 AlphaFold
五年后AI所需算力超100万倍！十二家机构联合发表88页长文：「智能计算」是解药Apr 09, 2023 pm 07:01 PM人工智能就是一个「拼财力」的行业，如果没有高性能计算设备，别说开发基础模型，就连微调模型都做不到。但如果只靠拼硬件，单靠当前计算性能的发展速度，迟早有一天无法满足日益膨胀的需求，所以还需要配套的软件来协调统筹计算能力，这时候就需要用到「智能计算」技术。最近，来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇论文，首次对智能计算领域进行了全面的调研，涵盖了理论基础、智能与计算的技术融合、重要应用、挑战和未来前景。论文链接：https://spj.scien
AI模型告诉你，为啥巴西最可能在今年夺冠！曾精准预测前两届冠军Apr 09, 2023 pm 01:51 PM说起2010年南非世界杯的最大网红，一定非「章鱼保罗」莫属！这只位于德国海洋生物中心的神奇章鱼，不仅成功预测了德国队全部七场比赛的结果，还顺利地选出了最终的总冠军西班牙队。不幸的是，保罗已经永远地离开了我们，但它的「遗产」却在人们预测足球比赛结果的尝试中持续存在。在艾伦图灵研究所（The Alan Turing Institute），随着2022年卡塔尔世界杯的持续进行，三位研究员Nick Barlow、Jack Roberts和Ryan Chan决定用一种AI算法预测今年的冠军归属。预测模型图
热AI工具
Undresser.AI Undress
人工智能驱动的应用程序，用于创建逼真的裸体照片
AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。
Undress AI Tool
免费脱衣服图片
Clothoff.io
AI脱衣机
AI Hentai Generator
免费生成ai无尽的。
热门文章
热工具
ZendStudio 13.5.1 Mac
功能强大的PHP集成开发环境
安全考试浏览器
Safe Exam Browser是一个安全的浏览器环境，用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问，并防止学生使用未经授权的资源。
适用于 Eclipse 的 SAP NetWeaver 服务器适配器
将Eclipse与SAP NetWeaver应用服务器集成。
WebStorm Mac版
好用的JavaScript开发工具
Atom编辑器mac版下载
最流行的的开源编辑器
