搜索
首页科技周边人工智能稀疏模型最新进展!马毅+LeCun强强联手:「白盒」非监督式学习

最近马毅教授和图灵奖得主Yann LeCun联手在ICLR 2023上发表了一篇论文,描述了一种极简和可解释的非监督式学习方法,不需要求助于数据增强、超参数调整或其他工程设计,就可以实现接近 SOTA SSL 方法的性能。

图片

论文链接:​https://arxiv.org/abs/2209.15261​

该方法利用了稀疏流形变换,将稀疏编码、流形学习和慢特征分析(slow feature analysis)相结合。

采用单层确定性稀疏流形变换,在 MNIST 上可以达到99.3% 的 KNN top-1精度,在 CIFAR-10上可以达到81.1% 的 KNN top-1精度,在 CIFAR-100上可以达到53.2% 的 KNN top-1精度。

通过简单的灰度增强,模型在 CIFAR-10和 CIFAR-100上的精度分别达到83.2% 和57% ,这些结果显著地缩小了简单的「白盒」方法和 SOTA 方法之间的差距。

此外,文中还提供了可视化解释如何形成一个无监督的表征变换。该方法与潜在嵌入自监督方法密切相关,可以看作是最简单的 VICReg 方法。

图片

尽管在我们简单的建设性模型和 SOTA 方法之间仍然存在很小的性能差距,但有证据表明,这是一个有希望的方向,可以实现一个原则性的、白盒式的非监督式学习。

文章第一作者Yubei Chen是纽约大学数据科学中心(CDS)和Meta基础人工智能研究(FAIR)的博士后助理,导师为Yann LeCun教授,博士毕业于加州大学伯克利分校的Redwood Center理论神经科学和伯克利人工智能研究所(BAIR),本科毕业于清华大学。

图片

主要研究方向研究为计算神经科学学习和深度无监督(自监督)学习的交叉,研究结果增强了对大脑和机器无监督表征学习的计算原理的理解,并重塑对自然信号统计的认识。

马毅教授于1995年获得清华大学自动化与应用数学双学士学位,并于1997年获加州大学伯克利分校EECS硕士学位,2000年获数学硕士学位与EECS博士学位。目前是加州大学伯克利分校电子工程与计算机科学系教授,同时也是IEEE Fellow,ACM Fellow,SIAM Fellow。

Yann LeCun最著名的工作是在光学字符识别和计算机视觉上使用卷积神经网络(CNN),也被称为卷积网络之父;2019年他同Bengio以及Hinton共同获得计算机学界最高奖项图灵奖。

从最简单的无监督学习开始

在过去的几年里,无监督表征学习取得了巨大的进展,并且有望在数据驱动的机器学习中提供强大的可扩展性。

不过什么是学习到的表征,以及它究竟是如何以无监督的方式形成的,这些问题仍然不清楚;此外,是否存在一套支撑所有这些无监督表征的共同原则仍不清楚。

许多研究者已经意识到提高模型理解力的重要性,并采取了一些开创性的措施,试图简化SOTA方法,建立与经典方法之间的联系,统一不同的方法,使表征可视化,并从理论角度分析这些方法,并希望能够开发出一种不同的计算理论:使我们能够基于第一原理从数据中建立简单的、完全可以解释的「白盒」模型,该理论也可以为理解人脑中无监督学习的原则提供指导。

在这项工作中,研究人员又朝着这个目标迈出了一小步,试图建立一个最简单的 「白盒」无监督学习模型,并且不需要深度网络、projection heads、数据增强或其他各种工程设计。

图片

文中通过利用两个经典的无监督学习原则,即稀疏性(sparsity)和频谱嵌入(spectral embedding),建立了一个两层模型,在几个标准数据集上取得了非显著的基准结果。

实验结果表明,基于稀疏流形变换(sparse manifold transform)的两层模型,与latent-embedding自监督方法具有相同的objective,并且在没有任何数据增强的情况下,在MNIST上取得了99.3%的KNN最高1级准确率,在CIFAR-10上取得了81.1%的KNN最高1级准确率,在CIFAR-100上取得了53.2%的准确率。

通过简单的灰度增强,进一步在CIFAR-10上实现了83.2%的KNN top-1精度,在CIFAR-100上实现了57%的KNN top-1精度。

这些结果为缩小「白盒」模型和SOTA自监督(SSL)模型之间的差距迈出了重要一步,虽然差距仍然很明显,但研究人员认为进一步缩小差距有可能对无监督表征的学习获得更深入的理解,这也是通往该理论实用化的一条有前景的研究路线。

三个基本问题

什么是无监督(自监督)的re-presentation

从本质上讲,原始信号的任何非同一性转换(non-identity transformation)都可以被称为表征(re-presentation),不过学术界更感兴趣的是那些有用的转换。

无监督re-presentation学习的一个宏观目标是找到一个函数,将原始数据转换到一个新的空间,使「相似」的东西被放在更接近的地方;同时,新的空间不应该是一个collapsed且trivial的,也就是说,必须保留数据的几何或随机结构。

如果这一目标得以实现,那么「不相似」的内容自然会在表示空间中被放置得很远。

相似性(similarity)从何而来?

相似性主要来自三个经典的想法:1)时序共现,2)空间共现;和3)原始信号空间中的局部相邻(local neighborhoods)。

当基础结构为几何结构时,这些想法在相当程度上是重叠的;但当结构为随机结构时,它们在概念上也会有所不同,下图展现了流形结构(manifold structure)和随机共现结构(stochastic co-occurrence structure.)之间的区别。

图片

利用局部性,相关工作提出了两种无监督的学习方法:流形学习和共现统计建模,这些想法很多都达到了谱系分解的表述或密切相关的矩阵分解表述。

流形学习的理念是,只有原始信号空间中的局部邻域才是可信的,通过综合考虑所有的局部邻域,就会出现全局几何,即「全局思考,局部适配」(think globally, fit locally)。

相比之下,共现统计建模遵循一种概率理念,因为有些结构不能用连续流形来建模,所以它也是对流形理念的补充。

一个最明显的例子来自于自然语言,其中的原始数据基本不会来自于平滑的几何,比如在单词嵌入中,「西雅图」和「达拉斯」的嵌入可能很相似,尽管它们并没有频繁共现,其根本原因是它们有类似的上下文模式。

概率和流形的观点对于理解「相似性」是相互补充的 ,当有了相似性的定义后,就可以构造一个转换,使得相似的概念离得更近。

本文如何建立表征转换?基本原则:稀疏性和低秩(low rank)

大体上来说,可以用稀疏性来处理数据空间中的局部性和分解,以建立support;然后用低频函数构建表征变换,将相似的值分配给support上的相似点。

整个过程也可以称为稀疏流形变换(sparse manifold transform)。

以上是稀疏模型最新进展!马毅+LeCun强强联手:「白盒」非监督式学习的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
烹饪创新:人工智能如何改变食品服务烹饪创新:人工智能如何改变食品服务Apr 12, 2025 pm 12:09 PM

AI增强食物准备 在新生的使用中,AI系统越来越多地用于食品制备中。 AI驱动的机器人在厨房中用于自动化食物准备任务,例如翻转汉堡,制作披萨或组装SA

Python名称空间和可变范围的综合指南Python名称空间和可变范围的综合指南Apr 12, 2025 pm 12:00 PM

介绍 了解Python功能中变量的名称空间,范围和行为对于有效编写和避免运行时错误或异常至关重要。在本文中,我们将研究各种ASP

视觉语言模型(VLMS)的综合指南视觉语言模型(VLMS)的综合指南Apr 12, 2025 am 11:58 AM

介绍 想象一下,穿过​​美术馆,周围是生动的绘画和雕塑。现在,如果您可以向每一部分提出一个问题并获得有意义的答案,该怎么办?您可能会问:“您在讲什么故事?

联发科技与kompanio Ultra和Dimenty 9400增强优质阵容联发科技与kompanio Ultra和Dimenty 9400增强优质阵容Apr 12, 2025 am 11:52 AM

继续使用产品节奏,本月,Mediatek发表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。这些产品填补了Mediatek业务中更传统的部分,其中包括智能手机的芯片

本周在AI:沃尔玛在时尚趋势之前设定了时尚趋势本周在AI:沃尔玛在时尚趋势之前设定了时尚趋势Apr 12, 2025 am 11:51 AM

#1 Google推出了Agent2Agent 故事:现在是星期一早上。作为AI驱动的招聘人员,您更聪明,而不是更努力。您在手机上登录公司的仪表板。它告诉您三个关键角色已被采购,审查和计划的FO

生成的AI遇到心理摩托车生成的AI遇到心理摩托车Apr 12, 2025 am 11:50 AM

我猜你一定是。 我们似乎都知道,心理障碍包括各种chat不休,这些chat不休,这些chat不休,混合了各种心理术语,并且常常是难以理解的或完全荒谬的。您需要做的一切才能喷出fo

原型:科学家将纸变成塑料原型:科学家将纸变成塑料Apr 12, 2025 am 11:49 AM

根据本周发表的一项新研究,只有在2022年制造的塑料中,只有9.5%的塑料是由回收材料制成的。同时,塑料在垃圾填埋场和生态系统中继续堆积。 但是有帮助。一支恩金团队

AI分析师的崛起:为什么这可能是AI革命中最重要的工作AI分析师的崛起:为什么这可能是AI革命中最重要的工作Apr 12, 2025 am 11:41 AM

我最近与领先的企业分析平台Alteryx首席执行官安迪·麦克米伦(Andy Macmillan)的对话强调了这一在AI革命中的关键但不足的作用。正如Macmillan所解释的那样,原始业务数据与AI-Ready Informat之间的差距

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

WebStorm Mac版

WebStorm Mac版

好用的JavaScript开发工具

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。