今年5月,DeepMind發布了一個多模態人工智慧系統Gato,僅靠一套模型參數即可同時執行600多種不同的任務,一時引起業界對通用人工智慧(AGI)的熱議。
DeepMind的研究部主管Nando de Freitas當時還發了一個推特表示,只要不斷提升規模(scale)就能把AI給通關了!
我們要做的只是讓模型更大、更安全、運算更有效率、取樣更快、更聰明的儲存、更多模態、在資料上創新、線上/離線等。
只要解決規模上的問題就能抵達AGI,業界就需要多關注這些問題!
最近,著名AI學者、Robust.AI的創始人兼CEO 、紐約大學的名譽教授Gary Marcus又發表了一篇博客,認為這種說法“為時太早了”,並且已經開始出現危機了!
Marcus對AI產業發展持續關注,但對AI的炒作持批判態度,曾表達過「深度學習撞牆」、「GPT-3完全沒意義」等反對意見。
大模型玩不下去怎麼辦?
Nando認為,人工智慧不需要進行典範轉移,只需要更多的資料、更高的效率和更大的伺服器。
Marcus把這個假設轉述為: 如果沒有根本性的新創新,AGI可能會從更大規模的模型中產生。這個假設也可以稱之為「規模超越一切」(scaling- über-alles)。
他的假設,現在通常被稱為規模最大化(scaling maximalism),仍然非常流行,很大程度上是因為越來越大的模型確實性能很強,例如圖像生成等任務都需要藉助大模型。
但也只是到目前為止。
問題在於,數月甚至數年來不斷提高的一些技術,實際上遠遠不能達到我們所需要的那種規模。
龐氏騙局越來越多,規模帶來的效能優勢只是經驗觀察得出的結果,無法確保正確。
Marcus分享了三個最近看到的前兆,可能預示著規模最大化假說可能將要終結。
1.世界上可能沒有足夠的資料量來支持規模最大化。
這一點很多人已經開始擔心了。
來自紐約大學和蘇黎世聯邦理工大學的研究人員William Merrill、Alex Warstadt和Tal Linzen最近提出了一個證明,稱「目前的神經語言模型不太適合在沒有大量數據的情況下提取自然語言的語義」。
論文連結:https://arxiv.org/pdf/2209.12407.pdf
儘管這個證明中包含了太多的前置假設,以至於無法被當作一個反駁證據,但是如果這個假設接近正確的話,那麼在規模上可能很快就會出現真正的麻煩。
2.世界上可能沒有足夠的可用運算資源來支撐規模最大化。
Miguel Solano最近給Marcus寄了一份合作撰寫的手稿,作者認為,要想達到當前的超級基準,例如BIG-bench,將會需要消耗2022年全美國電力消耗的四分之一還多。
倉庫連結:https://www.php.cn/link/e21bd8ab999859f3642d2227e682e66f
BIG-bench是一個眾包的基準資料集,旨在探索大型語言模型並推斷其未來的能力,其中包含200多個任務。
3.一些重要的任務可能根本無法在規模上擴展。
最明顯的例子是最近由Ruis, Khan, Biderman, Hooker, Rocktäschl和Grefenstette共同完成的語言學任務,他們研究了語言的語用意義。
例如對於問題“你留下指紋了嗎?”,收到回答可能是“我戴了手套”,其語義是“不”。
正如Marcus長期以來所主張的那樣,在沒有認知模型和常識的情況下讓模型意識到這一點真的很困難。
規模在這類任務中基本上沒什麼作用,即使是最好的模型也只有80.6%的準確率,對於大多數模型來說,規模的效果最多只能忽略不計。
並且,你可以很容易地想像出該任務的更複雜版本,模型的效能還會進一步降低。
更讓Marcus深受打擊的是,即使是像這樣單一的重要任務,約80%的表現也可能意味著規模的遊戲無法繼續玩下去。
如果模型只是學會了語法和語義,但是在語用或常識推理方面失敗了,那麼你可能根本就無法獲得可信任的AGI
「摩爾定律」並沒有像最初期望的那樣帶領我們走得那麼遠,那麼快,因為它不是宇宙的因果定律,永遠成立。
規模最大化只是一個有趣的假設,它不會讓我們抵達通用人工智慧,例如上述三個問題的解決將會迫使我們進行範式轉換。
網友Frank van der Velde表示,規模最大化的追隨者往往傾向於使用「大」和「更多」這樣模糊的術語。
與人類在學習語言中使用的訓練資料相比,深度學習模型用到的訓練資料太大了。
但與人類語言真正語意集合相比,這些所謂的海量資料仍然微不足道,大約需要100億人每秒生成一句話,持續300年才有可能得到這麼大規模的訓練集。
網友Rebel Science更是直言,規模最大化不是一個有趣的假設,而是一個愚蠢的假設,不僅會輸在AI這條賽道上,而且還會死的很難看。
規模最大化過於極端
哥倫比亞大學哲學系講師、牛津大學博士Raphaël Millière在「規模最大化」問題爭鬥最激烈時也發表了一些自己的看法。
規模最大化曾經被視為深度學習批評家的抓手(例如Gary Marcus),隨著業界人士如Nando de Freitas和Alex Dimakis加入爭論,雙方吵得不可開交。
從業者的反應大多喜憂參半,但並非過於消極,同時預測平台Metaculus上對AGI實現的預測日期已經提前到了歷史最低點(2028年5月) ,這也可能增大了規模最大化的可信度。
人們對「規模」逐漸信任可能是由於新模型的發布,諸如PaLM, DALL-E 2, Flamingo和Gato的成功為規模最大化添了一把火。
Sutton 的「Bitter Lesson」在關於規模最大化的討論中拋出了很多觀點,不過並非完全等價,他認為將人類知識構建到人工智能模型(例如,特徵工程)中的效率低於利用數據和計算來學習的效率。
文章連結:http://www.incompleteideas.net/IncIdeas/BitterLesson.html
雖然並非沒有爭議,但Sutton的觀點似乎很明顯沒有規模最大化那麼激進。
它確實強調了規模的重要性,但是並沒有把人工智慧研究中的每一個問題簡化為僅僅是規模的挑戰。
事實上,很難確定規模最大化的具體含義,從字面上理解,「Scaling is all you need」表明我們不需要任何演算法創新或架構變化就能實現AGI,可以擴展現有的模型,並強制輸入更多的資料。
這種字面上的解釋看起來很荒謬: 即使是像 PalM、 DALL-E 2、 Flamingo或Gato這樣的模型也仍然需要對先前的方法進行架構上的改變。
如果有人真的認為我們可以將現成的自回歸Transformer擴展到 AGI,那真的會讓人感到驚訝。
目前還不清楚認同規模最大化的人覺得AGI需要多大程度的演算法創新,這也使得從這個觀點很難產生可證偽的預測。
擴大規模可能是建構任何應該被貼上「通用人工智慧」標籤系統的必要條件,但是我們不應該把必要誤認為是充分條件。
以上是模型只要「變大」就能直通AGI?馬庫斯再次砲轟:三個危機已經顯現!的詳細內容。更多資訊請關注PHP中文網其他相關文章!

AI增強食物準備 在新生的使用中,AI系統越來越多地用於食品製備中。 AI驅動的機器人在廚房中用於自動化食物準備任務,例如翻轉漢堡,製作披薩或組裝SA

介紹 了解Python函數中變量的名稱空間,範圍和行為對於有效編寫和避免運行時錯誤或異常至關重要。在本文中,我們將研究各種ASP

介紹 想像一下,穿過美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

繼續使用產品節奏,本月,Mediatek發表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。這些產品填補了Mediatek業務中更傳統的部分,其中包括智能手機的芯片

#1 Google推出了Agent2Agent 故事:現在是星期一早上。作為AI驅動的招聘人員,您更聰明,而不是更努力。您在手機上登錄公司的儀表板。它告訴您三個關鍵角色已被採購,審查和計劃的FO

我猜你一定是。 我們似乎都知道,心理障礙由各種chat不休,這些chat不休,這些chat不休,混合了各種心理術語,並且常常是難以理解的或完全荒謬的。您需要做的一切才能噴出fo

根據本週發表的一項新研究,只有在2022年製造的塑料中,只有9.5%的塑料是由回收材料製成的。同時,塑料在垃圾填埋場和生態系統中繼續堆積。 但是有幫助。一支恩金團隊

我最近與領先的企業分析平台Alteryx首席執行官安迪·麥克米倫(Andy Macmillan)的對話強調了這一在AI革命中的關鍵但不足的作用。正如Macmillan所解釋的那樣,原始業務數據與AI-Ready Informat之間的差距


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

SublimeText3 Linux新版
SublimeText3 Linux最新版

mPDF
mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

Atom編輯器mac版下載
最受歡迎的的開源編輯器

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

VSCode Windows 64位元 下載
微軟推出的免費、功能強大的一款IDE編輯器