Transformer六週年：當年連NeurIPS Oral都沒拿到，8位作者已創辦數家AI獨角獸

從 ChatGPT 到 AI 畫圖技術，人工智慧領域最近的這波突破或許都要感謝一下 Transformer。

今天是著名的 transformer 論文提交六週年的日子。

論文連結：https://arxiv.org/abs/1706.03762

#六年前，一篇名字有點浮誇的論文被上傳到了預印版論文平台arXiv 上，「xx is All You Need」這句話被AI 領域的開發者們不斷複述，甚至已經成了論文標題的潮流，而Transformer 也不再是變形金剛的意思，它現在代表著AI 領域最先進的技術。

六年後，回看當年的這篇論文，我們可以發現很多有趣或鮮為人知的地方，正如英偉達 AI 科學家 Jim Fan 所總結的那樣。

「注意力機制」並不是Transformer 作者所提出的

Transformer 模型拋棄了傳統的CNN 和RNN 單元，整個網路結構完全由注意力機制組成。

雖然Transformer 論文的名字是《Attention is All You Need》，我們也因它而不斷推崇注意力機制，但請注意一個有趣的事實：並不是Transformer 的研究者發明了注意力，而是他們把這個機制推向了極致。

注意力機制（Attention Mechanism）是由深度學習先驅Yoshua Bengio 帶領的團隊於2014 年提出的：

《Neural Machine Translation by Jointly Learning to Align and Translate》，標題比較樸實。

在這篇 ICLR 2015 論文中，Bengio 等人提出了一個 RNN 「上下文向量」（即註意力）的組合。雖然它是 NLP 領域最偉大的里程碑之一，但相比 transformer，其知名度要低得多，Bengio 團隊的論文至今已被引用 2.9 萬次，Transformer 有 7.7 萬次。

#AI 的注意力機制，自然是仿照人類的視覺注意力而來。人類大腦裡有一種天生能力：當我們看一幅圖時，先是快速掃過圖片，然後鎖定需要重點關注的目標區域。

如果不放過任何局部訊息，必然會作很多無用功，不利於生存。同樣地，在深度學習網路中引入類似的機制可以簡化模型，加速運算。從本質上說，Attention 就是從大量資訊中有篩選出少量重要訊息，並聚焦到這些重要訊息上，忽略大多不重要的訊息。

近年來，注意力機制被廣泛應用在深度學習的各個領域，如在電腦視覺方向用於捕捉影像上的感受野，或NLP 中用於定位關鍵token或者特徵。大量實驗證明，添加了注意力機制的模型在圖像分類、分割、追蹤、增強以及自然語言識別、理解、問答、翻譯中任務中均取得了明顯的性能提升。

引入了注意力機制的Transformer 模型可以看做一種通用序列計算機（general-purpose sequence computer），注意力機制允許模型在處理輸入序列時根據序列中不同位置的相關性分配不同的注意力權重，這使得Transformer 能夠捕捉長距離的依賴關係和上下文訊息，從而提高序列處理的效果。

但在當年，不論是 Transformer 還是最初的 attention 論文都沒有談到通用序列計算機。相反，作者們認為它是解決一個狹窄而具體的問題 —— 機器翻譯的機制。所以未來的我們追溯 AGI 的起源時，說不定可以追溯到「不起眼」的谷歌翻譯。

雖然被NeurIPS 2017 接收，但連個Oral 都沒拿到

Transformer 這篇論文雖然現在影響力很大，但在當年的全球頂級AI會議NeurIPS 2017 上，連個Oral 都沒拿到，更不用說拿到獎項了。當年大會共收到3,240 篇論文投稿，其中678 篇被選為大會論文，Transformer 論文就是被接收的論文之一，在這些論文中，40 篇為Oral 論文，112 篇為Spotlight 論文，3 篇最佳論文，一篇Test of time award 獎項，Transformer 無緣獎項。

雖然無緣 NeurIPS 2017 論文獎項，但 Transformer 的影響力大家也是有目共睹的。

Jim Fan 評論說：在一項有影響力的研究變得有影響力之前，人們很難意識到它的重要性，這不是評審的錯。不過，也有論文夠幸運，能夠第一時間被發現，比如何愷明等人提出的 ResNet，當年獲得了 CVPR 2016 最佳論文，這一研究當之無愧，得到了 AI 頂會的正確認可。但在 2017 年那個當下，非常聰明的研究者也未必能夠預測現在 LLM 帶來的變革，就像 20 世紀 80 年代一樣，很少有人能預見到 2012 年以來深度學習帶來的海嘯。

八位作者，人生各自精彩

當時這篇論文的作者共有8 位，他們分別來自Google和多倫多大學，五年過去了，大部分論文作者都已離開了原機構。

2022 年4 月26 日，一家名為「Adept」的公司官員成立，共同創辦人有9 位，其中就包括Transformer 論文作者中的兩位Ashish Vaswani和Niki Parmar。

#Ashish Vaswani

##Ashish Vaswani  在南加州大學拿到博士學位，師從華人學者蔣偉（David Chiang）和黃亮（Liang Huang），主要研究現代深度學習在語言建模中的早期應用。 2016 年，他加入了谷歌大腦並領導了 Transformer 的研究，2021 年離開谷歌。

Niki Parmar 

碩士畢業於南加州大學，2016 年加入Google。工作期間，她為Google搜尋和廣告研發了一些成功的問答和文字相似度模型。她領導了擴展 Transformer 模型的早期工作，將其擴展到了圖像生成、電腦視覺等領域。 2021 年，她也離開谷歌。

#########在離開之後，兩人參與創立了 Adept，並分別擔任首席科學家（Ashish Vaswani）和首席技術長（Niki Parmar）。 Adept 的願景是創建一個被稱為「人工智慧隊友」的 AI，該 AI 經過訓練，可以使用各種不同的軟體工具和 API。 ############2023 年 3 月，Adept 宣布完成 3.5 億美元的 B 輪融資，公司估值超過 10 億美元，晉升獨角獸。不過，在 Adept 公開融資的時候，Niki Parmar 和 Ashish Vaswani 已經離開了 Adept，並創立了自己的 AI 新公司。不過，這家新公司目前還處於保密階段，我們無法取得該公司的詳細資料。 ######

另一位論文作者 Noam Shazeer 是Google最重要的早期員工之一。他在 2000 年底加入谷歌，直到 2021 年最終離職，之後成為了一家新創企業的 CEO，名字叫做「Character.AI」。

Character.AI 創辦人除了 Noam Shazeer，還有一位是 Daniel De Freitas，他們都來自Google的 LaMDA 團隊。此前，他們在谷歌建立了支援對話程式的語言模型 LaMDA。

今年三月，Character.AI 宣布完成1.5 億美元融資，估值達到10 億美元，是少數有潛力與ChatGPT 所屬機構OpenAI 競爭的新創公司之一，也是罕見的僅用16 個月就成長為獨角獸的公司。其應用程式 Character.AI 是一個神經語言模型聊天機器人，可以產生類似人類的文字回應並參與上下文對話。

Character.AI 於 2023 年 5 月 23 日在 Apple App Store 和 Google Play Store 發布，第一週下載量超過 170 萬次。 2023 年 5 月，該服務增加了每月 9.99 美元的付費訂閱，稱為 c.ai ，該訂閱允許用戶優先聊天訪問，獲得更快的響應時間和早期訪問新功能等特權。

Aidan N. Gomez 早在2019 年就已離開谷歌，之後擔任FOR.ai 研究員，現在是Cohere 的聯合創始人兼CEO。

Cohere 是一家生成式 AI 新創公司，於 2019 年成立，其核心業務包括提供 NLP 模型，並幫助企業改進人機互動。三位創辦人分別為 Ivan Zhang、Nick Frosst 和 Aidan Gomez，其中 Gomez 和 Frosst 是Google大腦團隊的前成員。 2021 年 11 月，Google Cloud 宣布他們將與 Cohere 合作，Google Cloud 將使用其強大的基礎設施為 Cohere 平台提供動力，而 Cohere 將使用 Cloud 的 TPU 來開發和部署其產品。

值得注意的是，Cohere 剛獲得 2.7 億美元 C 輪融資，成為市值 22 億美元的獨角獸。

#Łukasz Kaiser在2021 年離開谷歌，在Google工作了7 年9 個月，現在是OpenAI 研究員。在Google擔任研究科學家期間，他參與了機器翻譯、解析及其他演算法和生成任務的 SOTA 神經模型設計，是 TensorFlow 系統、Tensor2Tensor 庫的共同作者。

Jakob Uszkoreit 於2021 年離開Google，在Google工作時間長達13 年，之後加入Inceptive，成為共同創辦人。 Inceptive 是一家 AI 製藥公司，致力於運用深度學習去設計 RNA 藥物。

在Google工作期間，Jakob Uszkoreit 參與了組建谷歌助理的語言理解團隊，早期也曾從事谷歌翻譯的工作。

Illia Polosukhin 於2017 年離開谷歌，現在是NEAR .AI（一家區塊鏈底層技術公司）的共同創辦人兼CTO。

唯一還留在Google的是 Llion Jones##，今年是他在Google工作的第9 年。

如今，距離《 Attention Is All You Need 》論文發表已經過去6 年了，原創作者們擁有的選擇離開，有的選擇繼續留在谷歌，不管怎樣，Transformer 的影響力還在繼續。

以上是Transformer六週年：當年連NeurIPS Oral都沒拿到，8位作者已創辦數家AI獨角獸的詳細內容。更多資訊請關注PHP中文網其他相關文章！