搜索
首页科技周边人工智能深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝

今天的主角,是一对AI界相爱相杀的老冤家:

Yann LeCun和Gary Marcus

在正式讲述这一次的「新仇」之前,我们先来回顾一下,两位大神的「旧恨」。

深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝


LeCun与Marcus之争

Facebook首席人工智能科学家和纽约大学教授,2018年图灵奖(Turing Award)得主杨立昆(Yann LeCun)在NOEMA杂志发表文章,回应此前Gary Marcus对AI与深度学习的评论。

此前,Marcus在杂志Nautilus中发文,称深度学习已经「无法前进」

深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝

Marcus此人,属于是看热闹的不嫌事大的主。

一有点风吹草动,就发言「AI已死」,掀起圈内轩然大波!

此前多次发文,称GPT-3为「Nonsense」「bullshit」。

铁证在此:

深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝

深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝

好家伙,竟说「深度学习撞墙了」,看到如此猖獗的评论,AI界的大牛LeCun可坐不住了,立马发文回应!

深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝

并表示,你想对线我奉陪!

LeCun在文中把Marcus的观点一一怼了个遍。

我们一起看一下大神是如何撰文回怼的吧~~

以下是LeCun的长文:

当代人工智能的主导技术是深度学习(DL)神经网络(NN),这是一种大规模的自学习算法,擅长识别和利用数据中的模式。从一开始,批判者们就过早地认为,神经网络已经撞上了「一堵不可逾越的墙」,然而每一次,它都被证明是一个暂时的障碍。

在20世纪60年代,NN还不能解出非线性函数。但这种情况并没有持续很长时间,在20世纪80年代随着反向传播(Backpropagation)的出现得以改变,但是新的「不可逾越的墙」又出现了,即训练系统十分困难。

在20世纪90年代,人类有研究出了简化程序和标准化架构,这使得训练更加可靠,但无论取得什么样的成绩,好像永远都会存在一堵「不可逾越的墙」,这一次是缺乏训练数据和计算的能力。

2012年,当最新的GPU可以在庞大的ImageNet数据集上进行训练时,深度学习开始成为主流,轻松地击败了所有竞争对手。但随后,就出现了质疑的声音:人们发现了「一堵新墙」——深度学习训练需要大量的手工标注的数据。

不过在过去的几年里,这种质疑变得不再有意义,因为自监督学习已经取得了相当不错的效果,比如不需要标记数据的GPT-3。

现如今似乎不可逾越的障碍是「符号推理」,即以代数或逻辑的方式操作符号的能力。正如我们小时候学到的,解决数学问题需要根据严格的规则一步一步地处理符号(例如,解方程)。

《The Algebraic Mind》的作者、《Rebooting AI》的合著者Gary Marcus最近认为,DL无法取得进一步进展,是因为神经网络难以处理这种符号操作。与之相对的是,许多DL研究人员相信DL已经在进行符号推理,并将继续改进。

这场争论的核心是符号在人工智能中的作用,存在着两种不同看法:一种认为符号推理必须从一开始就被硬编码,而另一种则认为机器可以通过经验学习到符号推理的能力。因此,问题的关键在于我们应该如何理解人类智能,从而,又应该如何追求能够具有人类水平的人工智能。

不同类型的人工智能

符号推理最重要的是精确:根据排列组合,符号可以有很多种不同的顺序,比如「(3-2)-1和3-(2-1)」之间的差异很重要,所以如何以正确的顺序执行正确的符号推理是至关重要的。

Marcus认为,这种推理是认知的核心,对于为语言提供潜在的语法逻辑和为数学提供基本操作至关重要。他认为这可以延伸到我们更基本的能力,在这些能力的背后,存在着一个潜在的符号逻辑。

而我们所熟知的人工智能,它就是从研究这种推理开始的,通常被称为「符号人工智能」。但是将人类的专业知识提炼成一组规则是非常具有挑战性的,会消耗巨大的时间成本和人力成本。这就是所谓的「知识获取瓶颈」。

虽然为数学或逻辑编写规则很简单,但世界本身是非黑即白的、是非常模糊的,事实证明,人类不可能编写出控制每个模式的规则或者为每一个模糊的概念定义符号。

但是,科技发展到现在,造就出了神经网络,而神经网络最擅长的地方就是发现模式并接受模糊性。

神经网络是一个相对简单的方程,它学习一个函数,为输入到系统的任何东西提供适当的输出。

深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝

例如,训练一个二分类网络,通过将大量的样本数据(此处拿椅子作为例子)放入神经网络,对其进行若干个epoch的训练,最后实现让该网络成功推断出新图片是否是椅子。

说白了,这不仅是单纯的关乎人工智能的问题,更本质的是,到底什么是智能以及人类的大脑又是如何工作的问题。”

这些神经网络可以精确训练,因为实现它的函数是可微的。换句话说,如果符号AI类似于符号逻辑中使用的离散token,那么神经网络就是微积分的连续函数。

这允许通过微调参数来学习更好的表示,这意味着它可以更恰到好处的去拟合数据,而不出现欠拟合或者过拟合的问题。然而,当涉及到严格的规则和离散token时,这种流动性带来了新的「一堵墙」:当我们求解一个方程时,我们通常想要确切的答案,而不是近似的答案。

这正是Symbolic AI的亮点所在,所以Marcus建议将二者简单地结合起来:在DL模块之上插入一个硬编码的符号操作模块。

这是很有吸引力的,因为这两种方法可以很好地互补,所以看起来,具有不同工作方式的模块“混合”,将最大化两种方法的优势。

但争论的焦点转向了是否需要将符号操作内置到系统中,在系统中,符号和操作能力是由人类设计的,而该模块不可微的——因此与DL不兼容。

传奇的「符号推理」

这个假设是非常有具争议性的。

传统的神经网络认为,我们不需要手工进行符号推理,而是可以学习符号推理,即用符号的例子训练机器进行正确类型的推理,可以让它学习抽象模式的完成。简而言之,机器可以学习操作世界上的符号,尽管没有内置的手工制作的符号和符号操作规则。

深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝

当代大型语言模型(如GPT-3和LaMDA)显示了这种方法的潜力。他们操纵符号的能力令人印叹为观止,这些模型表现出了惊人的常识推理、组合能力、多语言能力、逻辑和数学能力,甚至有模仿死者的可怕能力。

但其实这样做并不可靠。如果你让DALL-E制作一个罗马雕塑,一个留着胡子、戴着眼镜、穿着热带衬衫的哲学家,那它会很出色。但是如果你让它画一只戴着粉色玩具的小猎犬,去追逐一只松鼠,有时你会得到一只戴着粉色小猎犬或松鼠。

当它可以将所有属性分配给一个对象时,它做得很好,但当有多个对象和多个属性时,它就会处于懵逼状态。许多研究人员的态度是,这是DL在通往更像人类的智能道路上的「一堵墙」。

那么符号化操作到底是需要硬编码?还是可学习的呢?

这并不是Marcus的理解。

他假设符号推理是全有或全无的——因为DALL-E没有符号和逻辑规则作为其操作的基础,它实际上不是用符号进行推理。因此,大型语言模型的无数次失败表明它们不是真正的推理,而只是没有感情的机械模仿。

对Marcus来说,爬上一棵足够大的树是不可能到达月球的。因此,他认为目前的DL语言模型并不比Nim Chimpsky(一只会使用美国手语的雄性黑猩猩)基更接近真正的语言。DALL-E的问题不是缺乏训练。它们只是系统没有掌握句子潜在的逻辑结构,因此不能正确地掌握不同部分应该如何连接成一个整体。

相比之下,Geoffrey Hinton等人认为神经网络不需要硬编码符号和代数推理既可以成功地操纵符号。DL的目标不是机器内部的符号操作,而是学会从世界上的系统中产生正确的符号。

拒绝将两种模式混合并非草率的,而是基于一个人是否认为符号推理可以学习的哲学性差异。

人类思想的底层逻辑

Marcus对DL的批评源于认知科学中的一场相关争论,即智能是如何运作的,以及是什么让人类独一无二。他的观点与心理学中一个著名的「本土主义」学派一致,该学派认为认知的许多关键特征是天生的——实际上,我们在很大程度上生来就知道世界是如何运转的。

这种与生俱来的感知的核心是符号操作的能力(但是这究竟是在整个自然中发现的,还是人类特有的,尚且没有结论)。对Marcus来说,这种符号操作能力奠定了常识的许多基本特征:遵循规则、抽象、因果推理、重新识别细节、泛化和许多其他能力。

简而言之,我们对世界的很多理解都是自然赋予的,学习就是充实细节。

还有另一种经验主义观点打破了上述想法:符号操纵在自然界中是罕见的,主要是我们的古人类祖先在过去200万年中逐渐获得的一种学习交流能力。

从这个观点来看,主要的认知能力是非符号学习能力,与提高生存能力有关,比如快速识别猎物,预测它们可能的行动,以及发展熟练的反应。

这一观点认为,绝大多数复杂的认知能力都是通过一般的、自监督的学习能力获得的。它还假设,我们的大部分复杂认知能力不会依赖于符号操作。相反,他们通过模拟各种场景并预测最佳结果。

这种经验主义的观点认为符号和符号操纵只是另一种习得的能力,是随着人类越来越依赖合作行为来获得成功而获得的能力。这将符号视为我们用来协调团队间合作的发明——比如文字,但也包括地图、标志性描述、仪式甚至社会角色。

这两种观点之间的差异非常明显。对于本土主义传统来说,符号和符号操纵原本就在头脑中,对单词和数字的使用也源自这种原始能力。这一观点很有吸引力地解释了那些源自进化适应的能力(尽管对符号操纵如何进化或为什么进化的解释一直存在争议)。

从经验主义传统角度看,符号和符号推理是一项有用的交流发明,它源于一般的学习能力和我们复杂的社会世界。这将内部计算和内心独白等发生在我们头脑中的象征性事物,视为源自于数学和语言使用的外部实践。

人工智能和认知科学领域是紧密交织的,所以这些争斗在这里重现也就不足为奇了。既然人工智能中任一观点的成功都将部分(但仅部分)证明认知科学中的一种或另一种方法是正确的,那么这些辩论的激烈程度也就不足为奇了。

问题的关键不仅在于如何正确地解决当代人工智能领域的问题,还在于解决智能是什么以及大脑如何工作。

对AI,是押注,还是做空?

深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝

为什么「深度学习撞墙」的说法这样具有挑衅性?

如果Marcus是对的,那深度学习将永远无法实现与人类相似的AI,无论它提出了多少新的架构,也不管它投入了多少计算能力。

为神经网络继续添加更多的层只会让人更加困惑,因为真正的符号操纵需要一个天生的符号操纵者。由于这种符号化操作是几种常识能力的基础,所以DL只会对任何东西都「不求甚解」。

相比之下,如果DL的提倡者和经验主义者是正确的,那么令人困惑的是插入一个用于符号操纵的模块的想法。

在这种情况下,深度学习系统已经在进行符号推理,并将继续改进,因为它们通过更多的多模态自监督学习、越来越有用的预测世界模型以及用于模拟和评估结果的工作内存的扩展来更好的满足约束。

引入符号操作模块不会创造出更像人类的AI,相反会迫使所有的「推理」操作通过一个不必要的瓶颈,这将使我们更加远离「类人智能」。这可能会切断深度学习最激动人心的一个方面:它能够提出超过人类的完美解决方案。

话说回来,这些都不能证明那些愚蠢的炒作是正确的:由于当前的系统没有意识,所以它们不能理解我们,强化学习是不够的,你不能仅仅通过扩大规模来构建类人智能。但所有这些问题都是主要争论的「擦边问题」:符号操作到底是需要硬编码?还是可学习?

这是在呼吁停止研究混合模型(即具有不可微符号操纵器的模型)吗?当然不是。人们应该选择有效的方法。

但是,研究人员自20世纪80年代以来一直在研究混合模型,不过它们还没有被证明是一种有效的方式,在许多情况下,有可能甚至远不如神经网络。

更通俗地说,人们应该怀疑深度学习是否达到了上限。

以上是深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
2023年机器学习的十大概念和技术2023年机器学习的十大概念和技术Apr 04, 2023 pm 12:30 PM

机器学习是一个不断发展的学科,一直在创造新的想法和技术。本文罗列了2023年机器学习的十大概念和技术。 本文罗列了2023年机器学习的十大概念和技术。2023年机器学习的十大概念和技术是一个教计算机从数据中学习的过程,无需明确的编程。机器学习是一个不断发展的学科,一直在创造新的想法和技术。为了保持领先,数据科学家应该关注其中一些网站,以跟上最新的发展。这将有助于了解机器学习中的技术如何在实践中使用,并为自己的业务或工作领域中的可能应用提供想法。2023年机器学习的十大概念和技术:1. 深度神经网

人工智能自动获取知识和技能,实现自我完善的过程是什么人工智能自动获取知识和技能,实现自我完善的过程是什么Aug 24, 2022 am 11:57 AM

实现自我完善的过程是“机器学习”。机器学习是人工智能核心,是使计算机具有智能的根本途径;它使计算机能模拟人的学习行为,自动地通过学习来获取知识和技能,不断改善性能,实现自我完善。机器学习主要研究三方面问题:1、学习机理,人类获取知识、技能和抽象概念的天赋能力;2、学习方法,对生物学习机理进行简化的基础上,用计算的方法进行再现;3、学习系统,能够在一定程度上实现机器学习的系统。

得益于OpenAI技术,微软必应的搜索流量超过谷歌得益于OpenAI技术,微软必应的搜索流量超过谷歌Mar 31, 2023 pm 10:38 PM

截至3月20日的数据显示,自微软2月7日推出其人工智能版本以来,必应搜索引擎的页面访问量增加了15.8%,而Alphabet旗下的谷歌搜索引擎则下降了近1%。 3月23日消息,外媒报道称,分析公司Similarweb的数据显示,在整合了OpenAI的技术后,微软旗下的必应在页面访问量方面实现了更多的增长。​​​​截至3月20日的数据显示,自微软2月7日推出其人工智能版本以来,必应搜索引擎的页面访问量增加了15.8%,而Alphabet旗下的谷歌搜索引擎则下降了近1%。这些数据是微软在与谷歌争夺生

超参数优化比较之网格搜索、随机搜索和贝叶斯优化超参数优化比较之网格搜索、随机搜索和贝叶斯优化Apr 04, 2023 pm 12:05 PM

本文将详细介绍用来提高机器学习效果的最常见的超参数优化方法。 译者 | 朱先忠​审校 | 孙淑娟​简介​通常,在尝试改进机器学习模型时,人们首先想到的解决方案是添加更多的训练数据。额外的数据通常是有帮助(在某些情况下除外)的,但生成高质量的数据可能非常昂贵。通过使用现有数据获得最佳模型性能,超参数优化可以节省我们的时间和资源。​顾名思义,超参数优化是为机器学习模型确定最佳超参数组合以满足优化函数(即,给定研究中的数据集,最大化模型的性能)的过程。换句话说,每个模型都会提供多个有关选项的调整“按钮

荣耀的人工智能助手叫什么名字荣耀的人工智能助手叫什么名字Sep 06, 2022 pm 03:31 PM

荣耀的人工智能助手叫“YOYO”,也即悠悠;YOYO除了能够实现语音操控等基本功能之外,还拥有智慧视觉、智慧识屏、情景智能、智慧搜索等功能,可以在系统设置页面中的智慧助手里进行相关的设置。

人工智能在教育领域的应用主要有哪些人工智能在教育领域的应用主要有哪些Dec 14, 2020 pm 05:08 PM

人工智能在教育领域的应用主要有个性化学习、虚拟导师、教育机器人和场景式教育。人工智能在教育领域的应用目前还处于早期探索阶段,但是潜力却是巨大的。

30行Python代码就可以调用ChatGPT API总结论文的主要内容30行Python代码就可以调用ChatGPT API总结论文的主要内容Apr 04, 2023 pm 12:05 PM

阅读论文可以说是我们的日常工作之一,论文的数量太多,我们如何快速阅读归纳呢?自从ChatGPT出现以后,有很多阅读论文的服务可以使用。其实使用ChatGPT API非常简单,我们只用30行python代码就可以在本地搭建一个自己的应用。 阅读论文可以说是我们的日常工作之一,论文的数量太多,我们如何快速阅读归纳呢?自从ChatGPT出现以后,有很多阅读论文的服务可以使用。其实使用ChatGPT API非常简单,我们只用30行python代码就可以在本地搭建一个自己的应用。使用 Python 和 C

人工智能在生活中的应用有哪些人工智能在生活中的应用有哪些Jul 20, 2022 pm 04:47 PM

人工智能在生活中的应用有:1、虚拟个人助理,使用者可通过声控、文字输入的方式,来完成一些日常生活的小事;2、语音评测,利用云计算技术,将自动口语评测服务放在云端,并开放API接口供客户远程使用;3、无人汽车,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶的目标;4、天气预测,通过手机GPRS系统,定位到用户所处的位置,在利用算法,对覆盖全国的雷达图进行数据分析并预测。

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

SublimeText3 英文版

SublimeText3 英文版

推荐:为Win版本,支持代码提示!

EditPlus 中文破解版

EditPlus 中文破解版

体积小,语法高亮,不支持代码提示功能

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版