深度學習十年後是撞牆了嗎？ Hinton、LeCun、李飛飛可不這麼認為

自 2012 年，以 AlexNet 為代表的深度學習技術突破開始，至今已有 10 年。

10 年後，如今已成為圖靈獎得主的 Geoffrey Hinton、Yann LeCun，ImageNet 挑戰賽的主要發起人與推動者李飛飛如何看待過去十年的 AI 技術突破？又對接下來十年的技術發展有什麼判斷？

近日，海外媒體 VentureBeat 的一篇專訪文章，讓 AI 社群開始討論這些問題。

在LeCun看來，過去十年最重要的成果包括自監督學習、ResNets、門-注意力-動態連接圖、可微儲存和置換等變模組，例如多頭自註意力-Transformer。

Hinton 認為，AI 領域的快速發展動能將持續加速。此前，他與其他一些 AI 領域知名人士對「深度學習已經碰壁」這一觀點進行了反駁。 Hinton 表示，「我們看到機器人領域出現了巨大進步，靈活、敏捷且更順從的機器人比人類更有效率、溫和地做事情。」

Geoffrey Hinton。圖源：https://www.thestar.com/

LeCun 和李飛飛贊同Hinton 的觀點，即2012 年基於ImageNet 資料集的一系列開創性研究開啟了電腦視覺尤其是深度學習領域的重大進步，將深度學習推向了主流，並引發了一股難以阻擋的發展勢頭。李飛飛對此表示，自 2012 年以來的深度學習變革是她做夢也想不到的。

李飛飛

不過，成功往往會招致批評。最近，許多觀點紛紛指出了深度學習的局限性，認為它的成功僅限於很小的範圍。這些觀點認為深度學習無法實現其宣稱的根本性突破，即最終幫助人類實現期望的通用人工智慧，其中 AI 的推理能力真正類似於人類。

知名AI 學者、Robust.AI 創辦人Gary Marcus 在今年三月發表了一篇《深度學習撞牆了》的文章，他認為純粹的端到端深度學習差不多走到盡頭了，整個AI 領域必須尋找新出路。之後，Hinton 和 LeCun 都對他的觀點發起了駁斥，由此更引發了圈內熱議。

雖然批評的聲音不斷，但他們不能否認電腦視覺和語言等關鍵應用已經取得了巨大進展。成千上萬的企業也見識到了深度學習的強大力量，並在推薦引擎、翻譯軟體、聊天機器人以及更多其他領域取得了顯著的成果。

2022 年了，當我們回顧過往蓬勃發展的 AI 十年，我們能從深度學習的進展中學到什麼呢？這項改變世界的變革性技術未來會更好還是走下坡呢？ Hinton、LeCun、李飛飛等人對此發表了自己的看法。

2012 年，深度學習變革的開始

一直以來，Hinton 堅信深度學習革命的到來。 1986 年，Hinton 等人的論文《Learning representations by back-propagating errors》提出了訓練多層神經網路的反向傳播演算法，他便堅信這就是人工智慧的未來。之後，1989 年率先使用反向傳播和卷積神經網路的 LeCun 對此表示贊同。

Hinton 和LeCun 以及其他人認為多層神經網路等深度學習架構可以應用於電腦視覺、語音辨識、自然語言處理和機器翻譯等領域，並產生媲美甚至超越人類專家的結果。同時，李飛飛也提出了自己深信不疑的假設，即只要演算法正確，ImageNet 資料集將成為推進電腦視覺和深度學習研究的關鍵。

到了2012 年，Alex Krizhevsky、Ilya Sutskever 和Hinton 的論文《ImageNet Classification with Deep Convolutional Neural Networks》問世，使用ImageNet 資料集創建了今天大家非常熟悉的AlexNet 神經網路架構，並贏得了當年的ImageNet 競賽冠軍。這個在當時具有開創性意義的架構在分類不同的影像方面比以往方法準確得多。

#

论文地址：https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

可以这么说，这项研究在 ImageNet 数据集和更强大 GPU 硬件的加持下，直接促成了下个十年的主要 AI 成功案例，比如 Google Photos、Google Translate、Amazon Alexa、OpenAI DALL-E 和 DeepMind AlphaFold 等。

在 AlexNet 推出的 2012 年，也有其他人和机构开始转向深度学习研究领域。Google X 实验室构建了一个由 16000 个计算机处理器组成的神经网络，它具有 10 亿个连接，并逐渐能够识别类猫（cat-like）特征以及高度准确地识别 YouTube 上的猫视频。

与此同时，Jeffrey Dean 和 Andrew Ng 也在大规模图像识别领域进行突破性工作。Dan Ciregan 等人中稿 CVPR 2012 的论文显著提高了卷积神经网络在多个图像数据集上的 SOTA 性能。

论文地址：https://arxiv.org/pdf/1202.2745.pdf

总而言之，到了 2013 年，「几乎所有的计算机视觉研究都转向了神经网络，」Hinton 说，他从那时起就在 Google Research 和多伦多大学之间分配时间。他补充说，从最近的 2007 年算起，几乎发生了一次人工智能的彻底改变，遥想当时，「在一次会议上发表两篇关于深度学习的论文甚至是不合适的」。

十年深度学习进展

李飞飞表示，她深度参与了深度学习的突破——在 2012 年意大利佛罗伦萨会议上亲自宣布了 ImageNet 竞赛的获胜者——人们认识到那一刻的重要性也就不足为奇了。

「ImageNet 是一个始于 2006 年的愿景，当时几乎没有人支持，」李飞飞补充说，它后来「在事实上以如此具有历史意义的重大方式获得了回报。」

自 2012 年以来，深度学习的发展速度惊人，深度也令人印象深刻。  

「有一些障碍正在以令人难以置信的速度被清除，」LeCun 说，他引用了自然语言理解、文本生成翻译和图像合成方面的进展。

有些领域的进展甚至比预期中要快。对于 Hinton 来说，这种进展包括在机器翻译中使用神经网络，其在 2014 年取得了长足的进步。「我本认为那会是很多年，」他说。

李飞飞也承认了计算机视觉的进步——比如 DALL-E——「比我想象的要快。」

驳回深度学习批评者

然而，并不是所有人都同意深度学习的进展令人瞠目结舌。2012 年 11 月，Gary Marcus 为《纽约客》写了一篇文章，他这么说：「套用一句古老的寓言，Hinton 建造了一个更好的梯子，但更好的梯子并不一定能让你登上月球。」

Marcus 认为深度学习没有比十年前更接近「月球」，此处的月球是指通用人工智能或人类水平的人工智能。

「当然有进步，但为了登上月球，你必须解决因果理解和自然语言理解及推理，」他说。「在这些事情上没有太大进展。」

Marcus 认为将神经网络与符号 AI（在深度学习兴起之前主导该领域的 AI 分支）相结合的混合模型是对抗神经网络极限的前进方向。不过 Hinton 和 LeCun 都驳斥过 Marcus 的批评。

「深度学习没有撞墙——如果你看看最近的进展，那真是太棒了，」Hinton 说，尽管他曾承认深度学习在它可以解决的问题范围内是有限的。

LeCun 补充说，「没有被撞到的墙」。「我认为有一些障碍需要清除，而这些障碍的解决方案并不完全清楚，」他说。「但我根本没有看到进展放缓…… 进展正在加速。」

不过，Bender 并不相信。「在某种程度上，他们只是在谈论根据 ImageNet 等基准提供的标签对图像进行分类的进展，看来 2012 年取得了一些质的突破。但如果他们在谈论比这更宏大的事情，那都是炒作。」

人工智能偏见和道德问题迫在眉睫

在其他方面，Bender 也认为人工智能和深度学习领域已经走得太远了。

「我确实认为，将非常大的数据集处理成可以生成合成文本和图像的系统的能力（计算能力 高效算法）已经让我们在几个方面脱轨了，」她说。比如，人们似乎陷入了一个循环：发现模型有偏见，并提议尝试去掉偏见，不过公认的结果是，目前并没有完全去偏见的数据集或模型。

此外，她表示希望看到該領域遵守真正的問責標準，無論是針對實際測試還是產品安全——“為此，我們需要廣大公眾了解以及如何看穿人工智能炒作的說法都處於危險之中，我們將需要有效的監管。」

然而，LeCun 指出，這些都是人們傾向於簡化的複雜而重要的問題，而且許多人「有惡意的假設」。他堅持認為，大多數公司「實際上都想做正確的事」。

此外，他也抱怨了那些不參與人工智慧技術和研究的人。 「這是一個完整的生態系統，但有些人在看台上射擊，」他說，「基本上只是在吸引註意力。」

關於深度學習的辯論肯定會繼續

儘管辯論看起來很激烈，李飛飛強調，這些是科學的全部內容。 「科學不是真理，科學是尋求真理的旅程。這是發現和改進的旅程——所以辯論、批評、慶祝都是其中的一部分。」

然而，一些辯論和批評讓李飛飛覺得「有點做作」，無論是說AI 都是錯的，還是說AGI 即將來臨，都屬於極端情況。 「我認為這是一場更深入、更微妙、更細微、更多維度的科學辯論的相對普及版本。」

當然，李飛飛指出，在過去十年中，人工智慧的進步令人失望——而且並不總是與技術有關。

人工智慧和深度學習的未來  

LeCun 承認，一些人們投入大量資源的 AI 挑戰尚未解決，例如自動駕駛。 「我會說其他人低估了它的複雜性，」他說，並補充說他沒有將自己歸類為這一類別。

「我知道這很難，而且需要很長時間，」他聲稱。 「我不同意一些人的說法，他們說我們基本上已經弄清楚了…… 這只是讓這些模型更大的問題。」

事實上，LeCun 最近發布了一份創建「自主機器智慧」的藍圖，這也顯示他認為目前的人工智慧方法並不能達到人類水準的人工智慧。

但他也看到了深度學習未來的巨大潛力，表示自己最興奮的是讓機器更有效率地學習，更像動物和人類。

LeCun 表示，對他本人來說，最大的問題是動物學習的基本原則是什麼，這也是他一直提倡自監督學習等事物的原因之一。

「這項進展將使我們能夠建立目前遙不可及的東西，例如可以在日常生活中助力智慧系統，就好像它們是人類助手一樣。這是我們將需要的東西，因為所有人都將戴上AR 眼鏡，我們將不得不與其互動。」

Hinton 同意深度學習正在取得更多進展。除了機器人技術的進步，他還相信神經網路的運算基礎設施將會有另一個突破，因為目前的設施只是用非常擅長做矩陣乘法器的加速器完成數位運算。他說，對於反向傳播，需要將類比訊號轉換為數位訊號。 

「我們會找到在模擬硬體中工作的反向傳播的替代方案，」他說。 「我非常相信，長遠來看我們幾​​乎所有的計算都將以模擬方式完成。」

李飛飛認為，對於深度學習的未來，最重要的是交流和教育。 「在Stanford HAI，我們實際上花費了過多的精力來面對商業領袖、政府、政策制定者、媒體、記者和記者以及整個社會，並創建專題討論會、會議、研討會、發布政策簡報、產業簡報。」 

對於如此新的技術，李飛飛比較擔心的是缺乏背景知識無助於傳達對這個時代的更細緻和更深思熟慮的描述。

10 年來的深度學習將如何被銘記

對於Hinton 來說，深度學習在過去十年取得了超出想像的成功，但他也強調了，這種巨大的進步應該被歸功於「電腦硬體的進步」。

Marcus 是一位批評者的角色，他認為深度學習雖然取得了一些進展，但之後看來這可能是一種不幸。

「我認為2050 年的人們會從2022 年開始審視這些系統，並且會說：是的，它們很勇敢，但並沒有真正發揮作用。」

#但李飛飛希望過去十年將被銘記為「偉大的數位革命的開端」：「它讓所有人而不僅僅是少數人或部分人類的生活和工作更好了。」

#她也補充道，身為科學家，「我永遠不會認為今天的深度學習是人工智慧探索的終結。」

在社會層面，她說她希望將人工智慧視為「一種令人難以置信的技術工具，它以最以人為本的方式被開發和使用——我們必須認識到這種工具的深遠影響，並接受以人為本的思維框架以及設計和部署人工智慧。」

最後，李飛飛表示：「我們如何被記住，取決於我們現在正在做什麼。」 

以上是深度學習十年後是撞牆了嗎？ Hinton、LeCun、李飛飛可不這麼認為的詳細內容。更多資訊請關注PHP中文網其他相關文章！