訓練越來越大的深度學習模式已經成為過去十年的新興趨勢。如下圖所示,模型參數量的不斷增加讓神經網路的表現越來越好,也產生了一些新的研究方向,但模型的問題也越來越多。
首先,這類模型往往有存取限制,沒有開源,或即使開源,仍然需要大量的運算資源來運作。第二,這些網路模型的參數是不能通用的,因此需要大量的資源來進行訓練和推導。第三,模型不能無限擴大,因為參數的規模受到硬體的限制。為了解決這些問題,專注於提高效率的方法正在形成一種新的研究趨勢。
近日,來自希伯來大學、華盛頓大學等多所機構的十幾位研究者共同撰寫了一篇綜述,歸納總結了自然語言處理(NLP)領域的高效方法。
論文網址:https://arxiv.org/pdf/2209.00099.pdf
效率通常是指輸入系統的資源與系統產出之間的關係,一個高效率的系統能在不浪費資源的情況下產生產出。在 NLP 領域,我們認為效率是一個模型的成本與它產生的結果之間的關係。
方程式(1)描述了一個人工智慧模型產生某種結果(R)的訓練成本(Cost)與三個(不完整的)因素成正比:
(1)在單一樣本上執行模型的成本(E);
(2)訓練資料集的大小(D);
(3)模型選擇或參數調整所需的訓練運行次數(H)。
然後,可以從多個維度衡量成本 Cost(·) ,如計算、時間或環境成本中的每一個都可以透過多種方式進一步量化。例如,計算成本可以包括浮點運算(FLOPs)的總數或模型參數的數量。由於使用單一的成本指標可能會產生誤導,該研究收集和整理了關於高效 NLP 的多個方面的工作,並討論了哪些方面對哪些用例有益。
該研究旨在對提高NLP 效率的廣泛方法做一個基本介紹,因此該研究按照典型的NLP 模型pipeline(下圖2)來組織這次調查,介紹了使各個階段更有效率的現有方法。
這項工作為NLP 研究人員提供了一個實用的效率指南,主要針對兩類讀者:
(1 )來自NLP 各個領域的研究人員,幫助他們在資源有限的環境下工作:根據資源的瓶頸,讀者可以直接跳到NLP pipeline 所涵蓋的某個方面。例如,如果主要的限制是推理時間,論文中第 6 章描述了相關的提高效率方法。
(2)對改善 NLP 方法效率現狀感興趣的研究人員。論文可以作為一個切入點,為新的研究方向尋找機會。
下圖 3 概述了本研究歸納整理的高效 NLP 方法。
此外,雖然硬體的選擇對模型的效率有很大的影響,但大多數NLP 研究者並不能直接控制關於硬體的決定,而且大多數硬體優化對於NLP pipeline 中的所有階段都有用。因此,該研究將工作重點放在了演算法上,但在第 7 章中提供了關於硬體優化的簡單介紹。最後,論文進一步討論如何量化效率,在評估過程中應該考慮哪些因素,以及如何決定最適合的模型。
有興趣的讀者可以閱讀論文原文,了解更多研究細節。
以上是資源受限如何提高模型效率?一文梳理NLP高效方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

Apollo Research的一份新報告顯示,先進的AI系統的不受檢查的內部部署構成了重大風險。 在大型人工智能公司中缺乏監督,普遍存在,允許潛在的災難性結果

傳統測謊儀已經過時了。依靠腕帶連接的指針,打印出受試者生命體徵和身體反應的測謊儀,在識破謊言方面並不精確。這就是為什麼測謊結果通常不被法庭採納的原因,儘管它曾導致許多無辜者入獄。 相比之下,人工智能是一個強大的數據引擎,其工作原理是全方位觀察。這意味著科學家可以通過多種途徑將人工智能應用於尋求真相的應用中。 一種方法是像測謊儀一樣分析被審問者的生命體徵反應,但採用更詳細、更精確的比較分析。 另一種方法是利用語言標記來分析人們實際所說的話,並運用邏輯和推理。 俗話說,一個謊言會滋生另一個謊言,最終

航空航天業是創新的先驅,它利用AI應對其最複雜的挑戰。 現代航空的越來越複雜性需要AI的自動化和實時智能功能,以提高安全性,降低操作

機器人技術的飛速發展為我們帶來了一個引人入勝的案例研究。 來自Noetix的N2機器人重達40多磅,身高3英尺,據說可以後空翻。 Unitree公司推出的G1機器人重量約為N2的兩倍,身高約4英尺。比賽中還有許多體型更小的類人機器人參賽,甚至還有一款由風扇驅動前進的機器人。 數據解讀 這場半程馬拉松吸引了超過12,000名觀眾,但只有21台類人機器人參賽。儘管政府指出參賽機器人賽前進行了“強化訓練”,但並非所有機器人均完成了全程比賽。 冠軍——由北京類人機器人創新中心研發的Tiangong Ult

人工智能以目前的形式並不是真正智能的。它擅長模仿和完善現有數據。 我們不是在創造人工智能,而是人工推斷 - 處理信息的機器,而人類則

一份報告發現,在谷歌相冊Android版7.26版本的代碼中隱藏了一個更新的界面,每次查看照片時,都會在屏幕底部顯示一行新檢測到的面孔縮略圖。 新的面部縮略圖缺少姓名標籤,所以我懷疑您需要單獨點擊它們才能查看有關每個檢測到的人員的更多信息。就目前而言,此功能除了谷歌相冊已在您的圖像中找到這些人之外,不提供任何其他信息。 此功能尚未上線,因此我們不知道谷歌將如何準確地使用它。谷歌可以使用縮略圖來加快查找所選人員的更多照片的速度,或者可能用於其他目的,例如選擇要編輯的個人。我們拭目以待。 就目前而言

增強者通過教授模型根據人類反饋進行調整來震撼AI的開發。它將監督的學習基金會與基於獎勵的更新融合在一起,使其更安全,更準確,真正地幫助

科學家已經廣泛研究了人類和更簡單的神經網絡(如秀麗隱桿線蟲中的神經網絡),以了解其功能。 但是,出現了一個關鍵問題:我們如何使自己的神經網絡與新穎的AI一起有效地工作


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

EditPlus 中文破解版
體積小,語法高亮,不支援程式碼提示功能

SublimeText3漢化版
中文版,非常好用

WebStorm Mac版
好用的JavaScript開發工具

ZendStudio 13.5.1 Mac
強大的PHP整合開發環境

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)