搜尋
首頁科技週邊人工智慧揭秘的全新版本:你從未見過的Transformer數學原理

近日,arxiv 上發布了一篇論文,對 Transformer 的數學原理進行全新解讀,內容很長,知識很多,十二分建議閱讀原文。

2017 年,Vaswani 等人發表的 《Attention is all you need》成為神經網路架構發展的一個重要里程碑。這篇論文的核心貢獻是自註意機制,這是 Transformers 區別於傳統架構的創新之處,在其卓越的實用性能中發揮了重要作用。

事實上,這項創新已成為電腦視覺和自然語言處理等領域人工智慧進步的關鍵催化劑,同時在大語言模型的出現中也起到了關鍵作用。因此,了解 Transformers,尤其是自註意處理資料的機制,是一個至關重要但在很大程度上尚未充分研究的領域。

揭秘的全新版本:你從未見過的Transformer數學原理

論文網址:https://arxiv.org/pdf/2312.10794.pdf

深度神經網路( DNNs)有一個共同特徵:輸入資料依照順序,被逐層處理,形成一個時間離散的動態系統(具體內容可以參考MIT 出版的《深度學習》,國內也被稱為「花書」)。這種觀點已被成功地用於將殘差網路建模到時間連續的動態系統上,後者被稱為神經常微分方程(neural ODEs)。在神經常微分方程中,輸入影像 揭秘的全新版本:你從未見過的Transformer數學原理在時間間隔 (0,T) 上會依照給定的時變速度場 揭秘的全新版本:你從未見過的Transformer數學原理進行演化。因此,DNN 可以看成是從一個 揭秘的全新版本:你從未見過的Transformer數學原理 到另一個揭秘的全新版本:你從未見過的Transformer數學原理的流映射(Flow Map)揭秘的全新版本:你從未見過的Transformer數學原理。即使在經典 DNN 架構限制下的速度場揭秘的全新版本:你從未見過的Transformer數學原理中,流映射之間也具有強烈的相似性。

研究者發現,Transformers 實際上是在揭秘的全新版本:你從未見過的Transformer數學原理上的流映射,即 d 維概率測度空間(the space of probability measures)間的映射。為了實現這種在度量空間間進行轉換的流映射,Transformers 需要建立了一個平均場相互作用的粒子系統(mean-field interacting particle system.)。

具體來說,每個粒子(在深度學習情境下可以理解為token)都遵循向量場的流動,流動取決於所有粒子的經驗測度( empirical measure)。反過來,方程式決定了粒子經驗測量的演變過程,這個過程可能會持續很長時間,需要持續關注。

對此,研究者的主要觀察結果是,粒子們往往最終會聚集在一起。這種現像在諸如單向推導(即預測序列中的下一個詞)的學習任務中會特別明顯。輸出量測對下一個 token 的機率分佈進行編碼,根據聚類結果就可以篩選出少量可能的結果。

本文的研究結果表明,極限分佈實際上是一個點質量,不存在多樣性或隨機性,但這與實際觀測結果不符。這明顯的悖論因粒子存在長時間的可變狀態而解決。從圖2 和圖4 可以看出,Transformers 具有兩種不同的時間尺度:在第一階段,所有token 迅速形成幾個簇,而在第二階段(較第一階段速度慢得多),透過簇的成對合併過程,所有token 最終坍縮為一個點。

揭秘的全新版本:你從未見過的Transformer數學原理

揭秘的全新版本:你從未見過的Transformer數學原理

本文的目標有兩個面向。一方面,本文旨在提供一個從數學角度研究 Transformers 通用且易於理解的框架。特別是,透過這些相互作用粒子系統的結構,研究者可以將其與數學中的既定主題建立具體聯繫,包括非線性傳輸方程式、Wasserstein 梯度流、集體行為模型和球面上點的最佳化配置等。另一方面,本文描述了幾個有前景的研究方向,並特別關注長時間跨度下的聚集現象。研究者提出的主要結果指標都是新的,並且在整篇論文中也提出了他們認為有趣的開放性問題。

本文的主要貢獻分為三個部分。

揭秘的全新版本:你從未見過的Transformer數學原理


第 1 部分:建模。本文定義了 Transformer 架構的理想模型,該模型將層數視為連續時間變數。這種抽象方法並不新穎,與 ResNets 等經典架構所採用的方法類似。本文的模型只關注 Transformer 架構的兩個關鍵組成部分:自註意力機制和層歸一化。層歸一化有效地將粒子限制在單位球 揭秘的全新版本:你從未見過的Transformer數學原理的空間內部,而自註意力機制則是透過經驗度量實現粒子之間的非線性耦合。反過來,經驗測量根據連續性偏微分方程進行演化。本文也為自註意引入了一個更簡單好用的替代模型,一個能量函數的 Wasserstein 梯度流,而能量函數在球面上點的最適配置已經有成熟的研究方法。

第二部分:聚類。在這一部分,研究者提出了在較長時間跨度下,token 聚類的新的數學結果。如定理 4.1 表明,在高維空間中,一組隨機初始化在單位球上的 n 個粒子會在揭秘的全新版本:你從未見過的Transformer數學原理時聚成一個點。研究者對粒子集群收縮率的精確描述對此結果進行了補充說明。具體來說,研究者繪製了所有粒子間距離的直方圖,以及所有粒子快要完成聚類的時間點(見原文第 4 節)。研究者還在不假設維數 d 較大的情況下就得到了聚類結果(見原文第 5 節)。

第 3 部分:未來展望。本文主要以開放式問題的形式提出問題,並透過數位觀測加以證實,以此提出了未來研究的潛在路線。研究者首先關注維數 d = 2 的情況(見原文第 6 節),並引出與 Kuramoto 振盪器的連結。接著簡單展示如何透過對模型進行簡單而自然的修改,解決球面最優化相關的難題(見原文第 7 節)。接下來的章節探討了相互作用的粒子系統,這些粒子系統使得對 Transformer 架構中的參數進行調整成為可能,日後可能會進一步產生實際應用。

以上是揭秘的全新版本:你從未見過的Transformer數學原理的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
AI技能差距正在減慢供應鏈AI技能差距正在減慢供應鏈Apr 26, 2025 am 11:13 AM

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

一家公司如何悄悄地努力改變AI一家公司如何悄悄地努力改變AIApr 26, 2025 am 11:12 AM

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

NVIDIA釋放NEMO微服務以簡化AI代理開發NVIDIA釋放NEMO微服務以簡化AI代理開發Apr 26, 2025 am 11:11 AM

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI為藝術與設計的未來描繪了一幅新圖片AI為藝術與設計的未來描繪了一幅新圖片Apr 26, 2025 am 11:10 AM

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Apr 26, 2025 am 11:09 AM

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

對大學的存在威脅對大學的存在威脅Apr 26, 2025 am 11:08 AM

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

原型:美國科學家正在國外尋找工作原型:美國科學家正在國外尋找工作Apr 26, 2025 am 11:07 AM

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

所有有關打開AI最新的GPT 4.1家庭的信息 - 分析Vidhya所有有關打開AI最新的GPT 4.1家庭的信息 - 分析VidhyaApr 26, 2025 am 10:19 AM

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器