- 論文連結：https://browse.arxiv.org/pdf/2211.13976.pdf
- GitHub：https://github.com/Vanint/DatasetExpansion
#眾所周知，深度神經網路的效能很大程度上依賴訓練數據的數量和質量，這使得深度學習難以廣泛地應用於小數據任務。例如，在醫療等領域的小數據應用場景中，人力收集和標註大規模的資料集往往費時費力。為了解決這個數據稀缺問題並最小化數據收集成本，該論文探索了一個數據集擴增新範式，旨在自動生成新數據從而將目標任務的小數據集擴充為更大且更具信息量的大數據集。這些擴增後的資料集致力於提升模型的效能和泛化能力，並能夠用於訓練不同的網路結構
該工作發現只是利用現存方法無法很好地擴充資料集。 （1）隨機資料增強主要改變圖片的表面視覺特徵，但不能創造具有新物體內容的圖片（如下圖的荷花依然是同一個，沒有新荷花的生成），因此所引入的資訊量有限。更嚴重的是，隨機資料增強可能會裁剪醫學影像的病灶（變）位置，導致樣本的重要資訊減少，甚至產生雜訊資料。 （2）直接利用預訓練的生成（擴散）模型進行資料集擴增也無法很好地提升模型在目標任務上的表現。這是因為這些生成模型的預訓練資料往往與目標資料有較大的分佈差異，這導致它們所產生的資料與目標任務有一定的分佈和類別差距，無法確保所產生的樣本帶有正確的類別標籤且對模型訓練有益。
為了更有效地進行資料集擴增，研究人員探索了人類的聯想學習。當人類擁有物體的先驗知識時，可以輕鬆地想像出該物體的不同變體，例如下圖中狗子在不同種類、不同顏色、不同形狀或不同背景下的變體。這種想像學習的過程對於資料集擴增非常有啟發性，因為它不僅僅是簡單地擾動圖片中動物體的外觀，而是應用了豐富的先驗知識來創建具有新資訊量的變體圖片
然而，我們無法直接建模人類作為先驗模型來進行資料想像。但幸運地是，近期的生成模型（如 Stable Diffusion，DALL-E2）已經展現了強大的擬合大規模資料集分佈的能力，能夠產生內容豐富且逼真的圖片。這啟發了該論文使用預先訓練的生成模型作為先驗模型，利用它們強大的先驗知識來對小數據集進行高效地數據聯想和擴增。
基於上述想法，這項工作提出了一個新的指導式想像擴增框架（Guided Imagination Framework, GIF）。此方法能夠有效提升深度神經網路在自然和醫療圖片任務上的分類效能和泛化能力，並大幅減少因人工資料收集和標註所帶來的巨大成本。同時，所擴增的資料集也有助於促進模型的遷移學習，並緩解長尾問題。
接下來讓我們來看看，這資料集擴增新範式是怎麼設計的。
方法
資料集擴增的挑戰與指導標準## 設計資料集擴增法會有兩個關鍵挑戰：（1）如何讓產生的樣本帶有正確的類別標籤？ （2）如何確保產生的樣本帶有新的資訊量，從而促進模型訓練？為了解決這兩個挑戰，這項工作透過大量的實驗發現了兩個擴增指導標準：（1）類別一致的資訊增強；（2）樣本多樣性提升。
方法框架# 基於所發現擴增指導標準，該工作提出了指導式想像擴增框架（GIF）。對於每個輸入的種子樣本 x，GIF 首先利用先驗生成模型的特徵提取器提取樣本特徵 f，並對該特徵進行噪音擾動:
。設定噪音(z,b)最簡單的方式是採用高斯隨機噪聲，但是它無法確保所產生的樣本具有正確的類別標籤並帶來更多的資訊量。因此，為了進行有效的資料集擴增，GIF 基於其發現的擴增指導標準對雜訊擾動進行最佳化，即
。
所用到的擴增指導標準實作如下。類別一致的資訊量指標：
；樣本多樣性指標：
。透過最大化這兩個指標，GIF 能夠有效優化雜訊擾動，從而產生既保持類別一致性，又帶來更大資訊量的樣本。
實驗
擴增有效性 GIF 具有更強的擴增有效性：GIF-SD 在6 個自然資料集上平均提高了36.9% 分類精度，並在3 個醫療資料集上平均提高了13.5% 分類精度。
#擴增效率# GIF 有更強的擴增有效率：在Cars 和DTD在資料集上，使用GIF-SD 進行5 倍擴增的效果甚至超過了使用隨機資料增強進行20 倍擴增的效果。
視覺化結果 現有的資料增強方法無法產生新的圖片內容，而GIF可以較好地產生帶有新內容的樣本。
現有的增強方法可能會削減醫學影像中病變位置，導致樣本資訊減少並產生噪聲，而GIF可以更好地保留它們的類別語意
計算與時間成本 與人工資料收集和標註相比， GIF 能夠大幅降低資料集擴增的時間和成本。
擴增資料的通用性# 一旦完成擴增，這些資料集可以直接用於訓練各種不同的神經網路模型結構。
提昇模型泛化能力 GIF 有助於提升模型的分佈外泛化效能（OOD generalization）。
緩解長尾問題 GIF 有助於緩解長尾問題。
安全性偵測# GIF 產生的影像是安全且無害的。
基於上述實驗結果，我們有理由相信透過模擬人類的類比與想像學習，論文所設計的方法能夠有效地擴增小數據集，從而提升深度神經網路在小數據任務場景上的落地和應用。
以上是引進全新的GIF框架：以人類為榜樣，資料集擴增的新典範已經到來的詳細內容。更多資訊請關注PHP中文網其他相關文章！
从VAE到扩散模型：一文解读以文生图新范式Apr 08, 2023 pm 08:41 PM1 前言在发布DALL·E的15个月后，OpenAI在今年春天带了续作DALL·E 2，以其更加惊艳的效果和丰富的可玩性迅速占领了各大AI社区的头条。近年来，随着生成对抗网络（GAN）、变分自编码器（VAE）、扩散模型（Diffusion models）的出现，深度学习已向世人展现其强大的图像生成能力；加上GPT-3、BERT等NLP模型的成功，人类正逐步打破文本和图像的信息界限。在DALL·E 2中，只需输入简单的文本（prompt），它就可以生成多张1024*1024的高清图像。这些图像甚至
普林斯顿陈丹琦：如何让「大模型」变小Apr 08, 2023 pm 04:01 PM“Making large models smaller”这是很多语言模型研究人员的学术追求，针对大模型昂贵的环境和训练成本，陈丹琦在智源大会青源学术年会上做了题为“Making large models smaller”的特邀报告。报告中重点提及了基于记忆增强的TRIME算法和基于粗细粒度联合剪枝和逐层蒸馏的CofiPruning算法。前者能够在不改变模型结构的基础上兼顾语言模型困惑度和检索速度方面的优势；而后者可以在保证下游任务准确度的同时实现更快的处理速度，具有更小的模型结构。陈丹琦 普
找不到中文语音预训练模型？中文版 Wav2vec 2.0和HuBERT来了Apr 08, 2023 pm 06:21 PMWav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等语音预训练模型，通过在多达上万小时的无标注语音数据（如 Libri-light ）上的自监督学习，显著提升了自动语音识别（Automatic Speech Recognition, ASR），语音合成（Text-to-speech, TTS）和语音转换（Voice Conversation，VC）等语音下游任务的性能。然而这些模型都没有公开的中文版本，不便于应用在中文语音研究场景。 WenetSpeech [4] 是
解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉TransformerApr 09, 2023 pm 02:01 PM由于复杂的注意力机制和模型设计，大多数现有的视觉 Transformer（ViT）在现实的工业部署场景中不能像卷积神经网络（CNN）那样高效地执行。这就带来了一个问题：视觉神经网络能否像 CNN 一样快速推断并像 ViT 一样强大？近期一些工作试图设计 CNN-Transformer 混合架构来解决这个问题，但这些工作的整体性能远不能令人满意。基于此，来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer——Next-ViT。从延迟 / 准确性权衡的角度看，
Stable Diffusion XL 现已推出—有什么新功能，你知道吗？Apr 07, 2023 pm 11:21 PM3月27号，Stability AI的创始人兼首席执行官Emad Mostaque在一条推文中宣布，Stable Diffusion XL 现已可用于公开测试。以下是一些事项：“XL”不是这个新的AI模型的官方名称。一旦发布稳定性AI公司的官方公告，名称将会更改。与先前版本相比，图像质量有所提高与先前版本相比，图像生成速度大大加快。示例图像让我们看看新旧AI模型在结果上的差异。Prompt: Luxury sports car with aerodynamic curves, shot in a
五年后AI所需算力超100万倍！十二家机构联合发表88页长文：「智能计算」是解药Apr 09, 2023 pm 07:01 PM人工智能就是一个「拼财力」的行业，如果没有高性能计算设备，别说开发基础模型，就连微调模型都做不到。但如果只靠拼硬件，单靠当前计算性能的发展速度，迟早有一天无法满足日益膨胀的需求，所以还需要配套的软件来协调统筹计算能力，这时候就需要用到「智能计算」技术。最近，来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇论文，首次对智能计算领域进行了全面的调研，涵盖了理论基础、智能与计算的技术融合、重要应用、挑战和未来前景。论文链接：https://spj.scien
什么是Transformer机器学习模型？Apr 08, 2023 pm 06:31 PM译者 | 李睿审校 | 孙淑娟近年来， Transformer 机器学习模型已经成为深度学习和深度神经网络技术进步的主要亮点之一。它主要用于自然语言处理中的高级应用。谷歌正在使用它来增强其搜索引擎结果。OpenAI 使用 Transformer 创建了著名的 GPT-2和 GPT-3模型。自从2017年首次亮相以来，Transformer 架构不断发展并扩展到多种不同的变体，从语言任务扩展到其他领域。它们已被用于时间序列预测。它们是 DeepMind 的蛋白质结构预测模型 AlphaFold
AI模型告诉你，为啥巴西最可能在今年夺冠！曾精准预测前两届冠军Apr 09, 2023 pm 01:51 PM说起2010年南非世界杯的最大网红，一定非「章鱼保罗」莫属！这只位于德国海洋生物中心的神奇章鱼，不仅成功预测了德国队全部七场比赛的结果，还顺利地选出了最终的总冠军西班牙队。不幸的是，保罗已经永远地离开了我们，但它的「遗产」却在人们预测足球比赛结果的尝试中持续存在。在艾伦图灵研究所（The Alan Turing Institute），随着2022年卡塔尔世界杯的持续进行，三位研究员Nick Barlow、Jack Roberts和Ryan Chan决定用一种AI算法预测今年的冠军归属。预测模型图
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
AI Hentai Generator
免費產生 AI 無盡。
熱門文章
熱工具
MantisBT
Mantis是一個易於部署的基於Web的缺陷追蹤工具，用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。
PhpStorm Mac 版本
最新（2018.2.1 ）專業的PHP整合開發工具
VSCode Windows 64位元 下載
微軟推出的免費、功能強大的一款IDE編輯器
記事本++7.3.1
好用且免費的程式碼編輯器
Atom編輯器mac版下載
最受歡迎的的開源編輯器
