Transformer無疑是過去幾年內機器學習領域最受歡迎的模型。
自2017年在論文「Attention is All You Need」中提出之後,這個新的網路結構,刷爆了各大翻譯任務,同時創造了多項新的記錄。
但Transformer在處理長位元組序列時有個硬傷,就是算力損耗嚴重,而Meta的研究人員的最新成果可以很好地解決這一缺陷。
他們推出了全新的模型架構,能跨多種格式產生超過100萬個token,並超越GPT-4等模型背後的現有 Transformer架構的功能。
這個模型被稱為「兆位元組」(Megabyte),是一種多尺度解碼器架構(Multi-scale Decoder Architecture),可以對超過一百萬位元組的序列進行端對端可微分建模。
論文連結:https://arxiv.org/abs/2305.07185
Megabyte為什麼比Transformer強,就得先看看Transformer的不足之處在哪。
Transformer的不足
迄今為止幾類高效能的生成式AI模型,如OpenAI的GPT-4、Google的Bard,都是基於Transformer架構的模型。
但Meta的研究團隊認為,流行的Transformer架構可能達到其閾值,其中主要理由是Transformer設計中固有的兩個重要缺陷:
- 隨著輸入和輸出位元組長度的增加,自註意力的成本也迅速增加,如輸入的音樂、圖像或視訊檔案通常包含數兆位元組,然而大型解碼器(LLM)通常只使用幾千個上下文標記
- 前饋網路透過一系列數學運算和轉換來幫助語言模型理解和處理單詞,但在每個位置的基礎上難以實現可擴展性,這些網路獨立地對字元組或位置進行操作,從而導致大量的計算開銷
Megabyte強在哪
##相比Transformer,Megabyte模型展示了一種獨特的不同架構,將輸入和輸出序列劃分為patch而不是單一token。
如下圖,在每個patch中,本地AI模型產生結果,而全域模型管理和協調所有patch的最終輸出。
首先,位元組序列被分割成固定大小的patch,大致類似token,這個模型由三個部分組成:
(1) patch嵌入器:透過無損地連接每個位元組的嵌入來簡單地編碼patch
(2) 一個全域模型:一個輸入和輸出patch表示的大型自迴歸變換器
#(3) 一個本地模型:一個預測patch中位元組的小型自迴歸模型
研究人員觀察到,對於多數任務而言字節預測都相對容易(如完成給定前幾個字的單字),這意味著每個字節的大型網路是不必要的,並且可以使用較小的模型進行內部預測。
這種方法解決了當今AI模型中普遍存在的可擴展性挑戰,Megabyte 模型的patch系統允許單一前饋網路在包含多個token的patch上運行,從而有效解決了自註意力縮放問題。
其中,Megabyte架構對長序列建模的Transformer進行了三項主要改進:
- 二次自註意力(Sub -quadratic self-attention)
大多數關於長序列模型的工作都集中在減輕自註意力的二次成本上,而Megabyte將長序列分解為兩個較短的序列,即使對於長序列也仍然易於處理。
- patch前饋層(Per-patch feedforward layers)
在GPT-3大小的模型中,超過98%的FLOPS用於計算位置前饋層,Megabyte每個patch使用大型前饋層,以相同的成本實現更大、性能更強的模型。在patch大小為P的情況下,基線轉換器將使用具有m個參數的相同前饋層P次,兆位元組可以以相同的成本使用具有mP個參數的層一次。
- 解碼中的平行性(Parallelism in Decoding)
Transformers必須在生成期間串行執行所有計算,因為每個時間步的輸入是前一個時間步的輸出,透過並行產生patch的表示,Megabyte允許在生成過程中實現更大的並行性。
例如,具有1.5B參數的Megabyte模型產生序列的速度比標準的350MTransformer快40%,同時在使用相同的計算量進行訓練時還能改善困惑度。
Megabyte遠優於其他模型,並提供與在子詞上訓練的sota 模型競爭的結果
相較之下,OpenAI 的GPT-4有32,000個token的限制,而Anthropic的Claude有100,000個token的限制。
此外,在運算效率方面,在固定模型大小和序列長度範圍內,Megabyte比同等大小的Transformers和Linear Transformers使用更少的token,允許以相同的計算成本使用更大的模型。
#總之,這些改進使我們能夠在相同的運算預算下訓練更大、性能更好的模型,擴展到非常長的序列,並提高部署期間的生成速度。
未來將會如何
隨著AI軍備競賽進行地如火如荼,模型表現越來越強,參數也越來越高。
雖然GPT-3.5在175B個參數上進行了訓練,但有人猜測功能更強大的GPT-4在1萬億個參數上進行了訓練。
OpenAI的CEO Sam Altman最近也建議轉變策略,他表示公司正在考慮捨棄對龐大模型的訓練,而專注於其他性能的優化。
他將AI模型的未來等同於iPhone晶片,而大多數消費者對原始技術規格一無所知。
Meta的研究人員相信他們的創新架構來得正是時候,但也承認還有其他最佳化途徑。
例如採用修補技術的更有效率的編碼器模型、將序列分解為更小塊的解碼模型以及將序列預處理為壓縮token等,並且可以擴展現有Transformer架構的能力以建構新世代模型。
前特斯拉AI總監Andrej Karpathy也在這篇論文中發表了看法,他在推特上寫道:
#這是非常有希望的,每個人都應該希望我們能在大模型中丟掉標記化,也不需要那些過長位元組的序列。
以上是比Transformer快4成! Meta發表全新Megabyte模型,解決算力損耗硬傷的詳細內容。更多資訊請關注PHP中文網其他相關文章!

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

EditPlus 中文破解版
體積小,語法高亮,不支援程式碼提示功能

Atom編輯器mac版下載
最受歡迎的的開源編輯器

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

Dreamweaver CS6
視覺化網頁開發工具

SecLists
SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。