搜索
首页科技周边人工智能70年AI发展迎来大一统?马毅、曹颖、沈向洋最新AI综述:探索智能发生的基本原则与「标准模型」

​人工智能发展七十年,虽然技术指标上不断刷新,但到底什么是「智能」,它如何出现及发展的,还没有答案。

最近马毅教授联手计算机科学家沈向洋博士、神经科学家曹颖教授发表了一篇对智能出现及发展的研究综述,希望将智能体的研究在理论上统一起来,增进对人工智能模型的理解与可解释性。

70年AI发展迎来大一统?马毅、曹颖、沈向洋最新AI综述:探索智能发生的基本原则与「标准模型」

论文链接:http://arxiv.org/abs/2207.04630

文中引入了两个基本原则:简约(Parsimony)与自洽( Self-consistency)。

作者认为这是智力、人工或自然的兴起的基石。尽管在经典文献里,对这两个原则各自的相关论述、阐述众多,但本文对这两个原则以完全可度量和可计算的方式重新进行解读。

基于这两个第一性的原则,作者推演出了一个高效的计算框架:压缩闭环转录,该框架统一并解释了现代深度网络和许多人工智能实践的演变。

70年AI发展迎来大一统?马毅、曹颖、沈向洋最新AI综述:探索智能发生的基本原则与「标准模型」

两大基本原则:简约与自洽

在深度学习加持下,过去十年人工智能取得的进展主要依赖于训练同质化的黑箱模型,使用粗暴的工程方法训练大规模神经网络。

虽然性能提高了,也无需手动设计特征,但神经网络内部学到的特征表示却是不可解释的,并且大模型带来其他的难题,比如不断提高的数据收集和计算的成本、学到的表征缺乏丰富性、稳定性(模式崩溃)、适应性(容易出现灾难性遗忘);对变形或对抗性攻击缺乏稳健性等。

作者认为,目前在深度网络和人工智能的实践中出现这些问题的根本原因之一是对智能系统的功能和组织原则缺乏系统和综合的理解。

举个例子,训练用于分类的判别式模型和用于采样或重放的生成性模型基本上在实践中是分开的。这样训练的模型通常叫开环系统,需要通过监督或自监督进行端到端的训练。

在控制理论中,这种开环系统(open-loop systems)不能自动纠正预测中的错误,而且对环境的变化没有适应性;正是因为这样的问题,在控制系统(controlled systems)中大家广泛采用「闭环反馈」,使系统能够自主纠正错误。

类似的经验在学习中也适用:一旦判别式模型和生成性模型结合在一起,形成一个完整的闭环系统,学习就可以变得自主(无需外部监督),而且更有效率、更稳定、更有适应性。

为了理解智能系统中可能需要的功能组件,如判别器或生成器等部件,我们需要从一个更加「原则」和「统一」的角度来理解智能。

文中提出两个基本原则:简约(Parsimony)和自洽(Self-consistency),分别回答了关于学习的两个基本问题。

  • 学什么:要从数据中学习什么,如何衡量学到的好坏?
  • 怎么学:我们如何通过高效和有效的计算框架来实现这样一个学习的目标?

对于第一个「学什么」的问题,简约原则认为:​

智能系统的学习目标就是从外部世界的观测数据中找出低维的结构,并且以最紧凑和结构化的方式重新组织和表示它们。

这也就是「奥卡姆剃刀」原则:如无必要,勿增实体。

如果没有这一原则,智能就不可能发生与存在!如果对外部世界的观测数据没有低维结构,就没有什么值得学习或记忆的东西,也就无法进行良好的泛化或预测。

而且智能系统需要尽量节省资源,如能量、空间、时间和物质等,在某些情况下,该原则也被称为「压缩原则」。但是,智能的简约性(Parsimony of Intelligence)并不是要实现最好的压缩,而是要通过高效的计算手段获得观测数据最紧凑和结构化的表达。

70年AI发展迎来大一统?马毅、曹颖、沈向洋最新AI综述:探索智能发生的基本原则与「标准模型」

那么简约性该如何度量?

对于一般的高维模型来说,许多常用的数学或统计学「度量」的计算成本都是指数级的,或者对于有低维结构的数据分布来说,甚至是没有定义的,比如最大似然、KL分歧、互信息、Jensen-Shannon和Wasserstein距离等。

作者认为学习的目的实际上就是建立一个映射(通常是非线性的),从原始高维输入中得到一个低维的表示。

70年AI发展迎来大一统?马毅、曹颖、沈向洋最新AI综述:探索智能发生的基本原则与「标准模型」

这样,得到的特征z的分布应该更加紧凑和结构化;紧凑意味着存储上更经济;结构化意味着访问和使用更加高效:特别是线性结构,是内插或外推的理想选择。

为了这个目的,作者引入了线性判别表示(LDR),实现三个子目标:

  1. 压缩:将高维感官数据x映射到低维表征z;
  2. 线性化:将分布在非线性子面的每一类物体映射到线性子空间;
  3. 稀疏化:将不同类别映射到相互独立或最不相关的子空间。

70年AI发展迎来大一统?马毅、曹颖、沈向洋最新AI综述:探索智能发生的基本原则与「标准模型」

而这几个目标可以通过最大编码率减少(rate reduction)来实现,保证所学到的LDR模型具有最优的简约性能。

70年AI发展迎来大一统?马毅、曹颖、沈向洋最新AI综述:探索智能发生的基本原则与「标准模型」

对于第二个「怎么学」的问题,自洽原则认为:​

一个自主的智能系统通过最小化观测到的数据和再生成的数据在内部表达中的差异,为外部世界的观测寻求一个最自洽的模型。

仅仅是简约原则并不能确保学到的模型能够捕捉到关于外部世界的数据中的所有重要信息。例如,通过最小化交叉熵,将每个类别映射到一个一维的one-hot向量,可以被看作是简约性的一种形式。

它可能会学到一个好的分类器,但学到的特征也可能会崩溃成一个singleton,也称为神经崩溃。这样学到的特征将不再包含足够的信息来重新生成原始数据。

即使我们考虑更普遍的LDR模型,仅靠最大化编码率差也不能自动确定环境特征空间的正确维度。

如果特征空间的维度太低,学到的模型就会与数据不匹配;如果太高,模型可能会过度匹配。

更一般地说,我们认为感知的学习不同于学习具体任务。感知的目标是学习关于所感知的一切可预测的内容。

就像爱因斯坦所说过的:「事情应该力求简单,不过不能过于简单。」

通用学习引擎

基于这两个原则,文章以视觉图像数据建模为例推导出了压缩闭环转录框架(compressive closed-loop transcription framework)。

其通过比较和最小化内部表征的差异,在内部对非线性数据子流型进行压缩式闭环转录,以实现LDR。

编码器/传感器和解码器/控制器之间的追逃游戏,可以让解码表征生成的数据的分布追逐和匹配观察到的真实数据分布。

70年AI发展迎来大一统?马毅、曹颖、沈向洋最新AI综述:探索智能发生的基本原则与「标准模型」

另外作者指出,压缩式闭环转录可以有效地进行增量学习。

一个新的数据类的LDR模型可以通过编码器和解码器之间的一个有约束的博弈来学习的:过去学习到的类的记忆可以很自然地作为博弈中的约束被保留,也就是作为闭环转录的「固定点」。

70年AI发展迎来大一统?马毅、曹颖、沈向洋最新AI综述:探索智能发生的基本原则与「标准模型」

文中还对这个框架的普适性提出了更多的推测性想法,将其扩展到三维视觉和强化学习,并预测其对神经科学、数学和高级智能的影响。

70年AI发展迎来大一统?马毅、曹颖、沈向洋最新AI综述:探索智能发生的基本原则与「标准模型」

通过这个由第一性原理推导出来的框架:信息编码理论、闭环反馈控制、优化/深度网络和博弈论的概念都有机地整合在一起,成为一个完整的、自主的智能系统的必要组成部分。

70年AI发展迎来大一统?马毅、曹颖、沈向洋最新AI综述:探索智能发生的基本原则与「标准模型」

值得一提的是,压缩闭环式架构在自然界的所有智能生物以及不同尺度上无处不在:从大脑(压缩感知信息),到脊柱回路(压缩肌肉运动),直至DNA(压缩蛋白质的功能信息)等等。

所以作者认为,压缩性闭环转录应该是所有智能行为背后的「通用学习引擎」。它使得自然的或者人工的智能系统能够从看似复杂的感知数据中发现并提炼出低维的结构,把它们转换为简洁规则的内部表达,以利于将来正确地判断和预测外部世界。

这是一切智能发生和发展的计算基础和机理。

参考资料:http://arxiv.org/abs/2207.04630​

以上是70年AI发展迎来大一统?马毅、曹颖、沈向洋最新AI综述:探索智能发生的基本原则与「标准模型」的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
及时工程中的数值推理链是什么?及时工程中的数值推理链是什么?Apr 17, 2025 am 10:08 AM

介绍 及时工程在人工智能和自然语言处理的快速发展的领域至关重要。 在其技术中,数值推理链(CONR)是增强AI的高效方法

Kaggle Grandmasters使用的顶级Python图书馆Kaggle Grandmasters使用的顶级Python图书馆Apr 17, 2025 am 10:03 AM

解锁Kaggle Grandmasters的秘密:顶级Python图书馆揭示了 Kaggle是数据科学竞赛的主要平台,拥有精选的精英表演者:Kaggle Grandmasters。 这些人一贯提供Innova

AI PC会改变您的工作场所的10种方法-Analytics VidhyaAI PC会改变您的工作场所的10种方法-Analytics VidhyaApr 17, 2025 am 09:59 AM

工作的未来:AI PC将如何彻底改变工作场所 人工智能(AI)集成到个人计算机(AI PC)中代表了工作场所技术的重大飞跃。 AI PC,定义为AI的融合

如何在Excel中冷冻窗格?如何在Excel中冷冻窗格?Apr 17, 2025 am 09:56 AM

Excel冻结窗格功能详解:高效处理大型数据集 Microsoft Excel是组织和分析数据的优秀工具之一,而“冻结窗格”功能更是其一大亮点。此功能允许您固定特定行或列,使其在浏览其余电子表格时保持可见,从而简化数据监控和比较。本文将深入探讨Excel冻结窗格功能的使用方法,并提供一些实用技巧和示例。 功能概述 Excel的冻结窗格功能可在滚动浏览大型数据集时,保持特定行或列可见,方便数据监控和比较。 提升导航效率,保持标题可见,简化大型电子表格中的数据比较。 提供通过“视图”选项卡和“冻

NEO4J与亚马逊海王星:数据工程中的图形数据库NEO4J与亚马逊海王星:数据工程中的图形数据库Apr 17, 2025 am 09:52 AM

导航互连数据的复杂性:Neo4J与亚马逊海王星 在当今数据丰富的世界中,有效管理复杂的互连信息至关重要。尽管传统数据库仍然相关,但他们经常与HI斗争

META SAM 2:建筑,应用和局限性-Analytics VidhyaMETA SAM 2:建筑,应用和局限性-Analytics VidhyaApr 17, 2025 am 09:40 AM

Meta的细分段的任何模型2(SAM-2):实时图像和视频细分方面的巨大飞跃 Meta再次通过SAM-2推动了人工智能的界限,SAM-2是计算机视觉的开创性进步

人工智能工作流程和消费者体验的数据策略人工智能工作流程和消费者体验的数据策略Apr 17, 2025 am 09:39 AM

通过AI增强数字消费者体验:一种数据驱动的方法 数字景观具有激烈的竞争力。 本文探讨了人工智能(AI)如何显着改善数字平台上的消费者体验。我们会考试

稳定扩散中的位置编码是什么? - 分析Vidhya稳定扩散中的位置编码是什么? - 分析VidhyaApr 17, 2025 am 09:34 AM

稳定的扩散:在文本到图像中揭示位置编码的力量 想象一下,从简单的文本描述中产生令人叹为观止的高分辨率图像。 这是稳定扩散的力量,一种尖端的文本对图像模型

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
1 个月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
1 个月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
1 个月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.聊天命令以及如何使用它们
1 个月前By尊渡假赌尊渡假赌尊渡假赌

热工具

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

WebStorm Mac版

WebStorm Mac版

好用的JavaScript开发工具

mPDF

mPDF

mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),