搜尋
首頁科技週邊人工智慧揭秘的全新版本:你從未見過的Transformer數學原理

近日,arxiv 上發布了一篇論文,對 Transformer 的數學原理進行全新解讀,內容很長,知識很多,十二分建議閱讀原文。

2017 年,Vaswani 等人發表的 《Attention is all you need》成為神經網路架構發展的一個重要里程碑。這篇論文的核心貢獻是自註意機制,這是 Transformers 區別於傳統架構的創新之處,在其卓越的實用性能中發揮了重要作用。

事實上,這項創新已成為電腦視覺和自然語言處理等領域人工智慧進步的關鍵催化劑,同時在大語言模型的出現中也起到了關鍵作用。因此,了解 Transformers,尤其是自註意處理資料的機制,是一個至關重要但在很大程度上尚未充分研究的領域。

揭秘的全新版本:你從未見過的Transformer數學原理

論文網址:https://arxiv.org/pdf/2312.10794.pdf

深度神經網路( DNNs)有一個共同特徵:輸入資料依照順序,被逐層處理,形成一個時間離散的動態系統(具體內容可以參考MIT 出版的《深度學習》,國內也被稱為「花書」)。這種觀點已被成功地用於將殘差網路建模到時間連續的動態系統上,後者被稱為神經常微分方程(neural ODEs)。在神經常微分方程中,輸入影像 揭秘的全新版本:你從未見過的Transformer數學原理在時間間隔 (0,T) 上會依照給定的時變速度場 揭秘的全新版本:你從未見過的Transformer數學原理進行演化。因此,DNN 可以看成是從一個 揭秘的全新版本:你從未見過的Transformer數學原理 到另一個揭秘的全新版本:你從未見過的Transformer數學原理的流映射(Flow Map)揭秘的全新版本:你從未見過的Transformer數學原理。即使在經典 DNN 架構限制下的速度場揭秘的全新版本:你從未見過的Transformer數學原理中,流映射之間也具有強烈的相似性。

研究者發現,Transformers 實際上是在揭秘的全新版本:你從未見過的Transformer數學原理上的流映射,即 d 維概率測度空間(the space of probability measures)間的映射。為了實現這種在度量空間間進行轉換的流映射,Transformers 需要建立了一個平均場相互作用的粒子系統(mean-field interacting particle system.)。

具體來說,每個粒子(在深度學習情境下可以理解為token)都遵循向量場的流動,流動取決於所有粒子的經驗測度( empirical measure)。反過來,方程式決定了粒子經驗測量的演變過程,這個過程可能會持續很長時間,需要持續關注。

對此,研究者的主要觀察結果是,粒子們往往最終會聚集在一起。這種現像在諸如單向推導(即預測序列中的下一個詞)的學習任務中會特別明顯。輸出量測對下一個 token 的機率分佈進行編碼,根據聚類結果就可以篩選出少量可能的結果。

本文的研究結果表明,極限分佈實際上是一個點質量,不存在多樣性或隨機性,但這與實際觀測結果不符。這明顯的悖論因粒子存在長時間的可變狀態而解決。從圖2 和圖4 可以看出,Transformers 具有兩種不同的時間尺度:在第一階段,所有token 迅速形成幾個簇,而在第二階段(較第一階段速度慢得多),透過簇的成對合併過程,所有token 最終坍縮為一個點。

揭秘的全新版本:你從未見過的Transformer數學原理

揭秘的全新版本:你從未見過的Transformer數學原理

本文的目標有兩個面向。一方面,本文旨在提供一個從數學角度研究 Transformers 通用且易於理解的框架。特別是,透過這些相互作用粒子系統的結構,研究者可以將其與數學中的既定主題建立具體聯繫,包括非線性傳輸方程式、Wasserstein 梯度流、集體行為模型和球面上點的最佳化配置等。另一方面,本文描述了幾個有前景的研究方向,並特別關注長時間跨度下的聚集現象。研究者提出的主要結果指標都是新的,並且在整篇論文中也提出了他們認為有趣的開放性問題。

本文的主要貢獻分為三個部分。

揭秘的全新版本:你從未見過的Transformer數學原理


第 1 部分:建模。本文定義了 Transformer 架構的理想模型,該模型將層數視為連續時間變數。這種抽象方法並不新穎,與 ResNets 等經典架構所採用的方法類似。本文的模型只關注 Transformer 架構的兩個關鍵組成部分:自註意力機制和層歸一化。層歸一化有效地將粒子限制在單位球 揭秘的全新版本:你從未見過的Transformer數學原理的空間內部,而自註意力機制則是透過經驗度量實現粒子之間的非線性耦合。反過來,經驗測量根據連續性偏微分方程進行演化。本文也為自註意引入了一個更簡單好用的替代模型,一個能量函數的 Wasserstein 梯度流,而能量函數在球面上點的最適配置已經有成熟的研究方法。

第二部分:聚類。在這一部分,研究者提出了在較長時間跨度下,token 聚類的新的數學結果。如定理 4.1 表明,在高維空間中,一組隨機初始化在單位球上的 n 個粒子會在揭秘的全新版本:你從未見過的Transformer數學原理時聚成一個點。研究者對粒子集群收縮率的精確描述對此結果進行了補充說明。具體來說,研究者繪製了所有粒子間距離的直方圖,以及所有粒子快要完成聚類的時間點(見原文第 4 節)。研究者還在不假設維數 d 較大的情況下就得到了聚類結果(見原文第 5 節)。

第 3 部分:未來展望。本文主要以開放式問題的形式提出問題,並透過數位觀測加以證實,以此提出了未來研究的潛在路線。研究者首先關注維數 d = 2 的情況(見原文第 6 節),並引出與 Kuramoto 振盪器的連結。接著簡單展示如何透過對模型進行簡單而自然的修改,解決球面最優化相關的難題(見原文第 7 節)。接下來的章節探討了相互作用的粒子系統,這些粒子系統使得對 Transformer 架構中的參數進行調整成為可能,日後可能會進一步產生實際應用。

以上是揭秘的全新版本:你從未見過的Transformer數學原理的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
10個生成AI編碼擴展,在VS代碼中,您必須探索10個生成AI編碼擴展,在VS代碼中,您必須探索Apr 13, 2025 am 01:14 AM

嘿,編碼忍者!您當天計劃哪些與編碼有關的任務?在您進一步研究此博客之前,我希望您考慮所有與編碼相關的困境,這是將其列出的。 完畢? - 讓&#8217

烹飪創新:人工智能如何改變食品服務烹飪創新:人工智能如何改變食品服務Apr 12, 2025 pm 12:09 PM

AI增強食物準備 在新生的使用中,AI系統越來越多地用於食品製備中。 AI驅動的機器人在廚房中用於自動化食物準備任務,例如翻轉漢堡,製作披薩或組裝SA

Python名稱空間和可變範圍的綜合指南Python名稱空間和可變範圍的綜合指南Apr 12, 2025 pm 12:00 PM

介紹 了解Python函數中變量的名稱空間,範圍和行為對於有效編寫和避免運行時錯誤或異常至關重要。在本文中,我們將研究各種ASP

視覺語言模型(VLMS)的綜合指南視覺語言模型(VLMS)的綜合指南Apr 12, 2025 am 11:58 AM

介紹 想像一下,穿過​​美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容Apr 12, 2025 am 11:52 AM

繼續使用產品節奏,本月,Mediatek發表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。這些產品填補了Mediatek業務中更傳統的部分,其中包括智能手機的芯片

本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢Apr 12, 2025 am 11:51 AM

#1 Google推出了Agent2Agent 故事:現在是星期一早上。作為AI驅動的招聘人員,您更聰明,而不是更努力。您在手機上登錄公司的儀表板。它告訴您三個關鍵角色已被採購,審查和計劃的FO

生成的AI遇到心理摩托車生成的AI遇到心理摩托車Apr 12, 2025 am 11:50 AM

我猜你一定是。 我們似乎都知道,心理障礙由各種chat不休,這些chat不休,這些chat不休,混合了各種心理術語,並且常常是難以理解的或完全荒謬的。您需要做的一切才能噴出fo

原型:科學家將紙變成塑料原型:科學家將紙變成塑料Apr 12, 2025 am 11:49 AM

根據本週發表的一項新研究,只有在2022年製造的塑料中,只有9.5%的塑料是由回收材料製成的。同時,塑料在垃圾填埋場和生態系統中繼續堆積。 但是有幫助。一支恩金團隊

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具