在大模型內卷的同時,Transformer的地位也接連受到挑戰。
近日,RWKV發布了Eagle 7B模型,基於最新的RWKV-v5架構。
Eagle 7B在多語言基準測試中脫穎而出,在英語測試中與頂尖模型不相上下。
同時,Eagle 7B用的是RNN架構,相較於同尺寸的Transformer模型,推理成本降低了10-100倍以上,可以說是世界上最環保的7B模型。
由於RWKV-v5的論文可能要下個月才能發布,我們先提供RWKV的論文,這是第一個將參數擴展到數百億的非Transformer架構。
圖片
論文網址:https://arxiv.org/pdf/2305.13048.pdf
#EMNLP 2023錄用了這篇工作,作者來自世界各地的頂尖大學、研究機構和科技公司。
下面是Eagle 7B的官圖,表示這隻老鷹正在飛躍變形金剛。
圖片
Eagle 7B
Eagle 7B使用來自100多種語言的,1.1T(兆)個Token的訓練數據,在下圖的多語言基準測試中,Eagle 7B平均成績位居第一。
基準測試包括xLAMBDA、xStoryCloze、xWinograd和xCopa,涵蓋了23種語言,以及各自語言的常識推理。
Eagle 7B拿到了其中三項的第一,儘管有一項沒打過Mistral-7B,屈居第二,但對手使用的訓練資料要遠高於Eagle。
圖片
下圖的英文測驗包含了12個獨立的基準、常識推理和世界知識。
在英文表現測試中,Eagle 7B的程度接近Falcon(1.5T)、LLaMA2(2T)、Mistral(>2T),與同樣使用了1T左右訓練資料的MPT-7B不相上下。
圖片
並且,在兩種測試中,新的v5架構相比於之前的v4,有了巨大的整體飛躍。
Eagle 7B目前由Linux基金會託管,以Apache 2.0許可證授權,可以不受限制地用於個人或商業用途。
多語言支援
前面說了,Eagle 7B的訓練資料來自100多種語言,而上面採用的4項多語言基準測試只包括了23種語言。
圖片
雖然取得了第一名的成績,但總的來說,Eagle 7B是吃虧的,畢竟,基準測試無法直接評估模型在其他70多種語言中的表現。
額外的訓練代價並不能幫助自己刷榜,如果集中在英語,可能會獲得比現在更好的成績。
——那麼,RWKV為什麼要這麼做呢?官方對此表示:
Building inclusive AI for everyone in this world —— not just the English
##在對於RWKV模型的眾多反饋中,最常見的是:
多語言方法損害了模型的英語評估分數,並減緩了線性Transformer的發展;
讓多語言模型與純英語模型,比較多語言表現是不公平的
官方表示,「在大多數情況下,我們同意這些意見,」 #
「但我們沒有計劃改變這一點,因為我們正在為世界建立人工智慧——這不僅僅是一個英語世界。」
##圖片
2023年,世界上只有17%的人口會說英語(大約13億人),但是,透過支援世界上排名前25位的語言,模型可以涵蓋大約40億人,即世界人口總數的50%。
團隊希望未來的人工智慧可以為每個人都提供幫助,例如讓模型可以在低端硬體上以低廉的價格運行,例如支援更多的語言。
團隊將在之後逐漸擴大多語言資料集,以支援更廣泛的語言,並慢慢將覆蓋範圍擴大到世界上100%的地區,—確保沒有語言被遺漏。
資料集可擴展架構
在模型的訓練過程中,有一個值得注意的現象:
#隨著訓練資料規模不斷增加,模型的效能逐漸進步,當訓練資料達到300B左右時,模型顯示出與pythia-6.9b 相似的效能,而後者的訓練資料量為300B。
圖片
這個現象與先前在RWKV-v4架構上進行的一項實驗相同,--也就是說,在訓練資料規模相同的情況下,像RWKV這種線性Transformer的效能會和Transformer差不多。
那麼我們不禁要問,如果確實如此,那麼是不是相比於確切的架構,資料反而對模型的效能提升更加重要?
圖片
我們知道,Transformer類別的模型,計算和儲存代價是平方層級的,而在上圖中RWKV架構的運算成本只是隨著Token數線性成長。
也許我們應該尋求更有效率、更可擴展的架構,以提高可訪問性,降低每個人的人工智慧成本,並減少對環境的影響。
RWKV
RWKV架構是具有GPT等級LLM效能的RNN,同時又可以像Transformer一樣並行化訓練。
RWKV結合了RNN和Transformer的優點——出色的性能、快速推理、快速訓練、節省VRAM、「無限」的上下文長度和免費的句子嵌入,RWKV並不使用注意力機制。
下圖展示了RWKV與Transformer派模型在計算成本上的比較:
圖片
圖片
下圖中左邊為RWKV塊元素,右邊為RWKV殘差塊,以及用於語言建模的最終頭部。
圖片
這裡也引入了一個單獨處理目前Token的向量,以補償潛在的退化。
RWKV可以在我們所說的時間並行模式下有效地並行化(矩陣乘法)。 在循環網路中,通常使用前一時刻的輸出作為當下時刻的輸入。這在語言模型的自回歸解碼推理中尤其明顯,它要求在輸入下一步之前計算每個令牌,從而使RWKV能夠利用其類似RNN的結構,稱為時間順序模式。 在這種情況下,RWKV可以方便地遞歸表述,以便在推理過程中進行解碼,它利用了每個輸出令牌僅依賴最新狀態的優勢,狀態的大小是恆定的,而與序列長度無關。 然後充當RNN解碼器,相對於序列長度產生恆定的速度和記憶體佔用,從而能夠更有效地處理較長的序列。 相比之下,自註意力的KV快取相對於序列長度不斷增長,從而導致效率下降,並隨著序列的延長而增加記憶體佔用和時間。 參考資料:圖片
以上是RNN模型挑戰Transformer霸權! 1%成本性能比肩Mistral-7B,支援100+種語言全球最多的詳細內容。更多資訊請關注PHP中文網其他相關文章!

AI增強食物準備 在新生的使用中,AI系統越來越多地用於食品製備中。 AI驅動的機器人在廚房中用於自動化食物準備任務,例如翻轉漢堡,製作披薩或組裝SA

介紹 了解Python函數中變量的名稱空間,範圍和行為對於有效編寫和避免運行時錯誤或異常至關重要。在本文中,我們將研究各種ASP

介紹 想像一下,穿過美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

繼續使用產品節奏,本月,Mediatek發表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。這些產品填補了Mediatek業務中更傳統的部分,其中包括智能手機的芯片

#1 Google推出了Agent2Agent 故事:現在是星期一早上。作為AI驅動的招聘人員,您更聰明,而不是更努力。您在手機上登錄公司的儀表板。它告訴您三個關鍵角色已被採購,審查和計劃的FO

我猜你一定是。 我們似乎都知道,心理障礙由各種chat不休,這些chat不休,這些chat不休,混合了各種心理術語,並且常常是難以理解的或完全荒謬的。您需要做的一切才能噴出fo

根據本週發表的一項新研究,只有在2022年製造的塑料中,只有9.5%的塑料是由回收材料製成的。同時,塑料在垃圾填埋場和生態系統中繼續堆積。 但是有幫助。一支恩金團隊

我最近與領先的企業分析平台Alteryx首席執行官安迪·麥克米倫(Andy Macmillan)的對話強調了這一在AI革命中的關鍵但不足的作用。正如Macmillan所解釋的那樣,原始業務數據與AI-Ready Informat之間的差距


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

SublimeText3 Linux新版
SublimeText3 Linux最新版

mPDF
mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

Atom編輯器mac版下載
最受歡迎的的開源編輯器

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

VSCode Windows 64位元 下載
微軟推出的免費、功能強大的一款IDE編輯器