Transformer 6 周年: 当時は NeurIPS Oral さえ入手できませんでしたが、8 人の著者が複数の AI ユニコーンを設立しました

ChatGPT から AI 描画テクノロジに至るまで、人工知能分野におけるこの最近のブレークスルーの波は、Transformer のおかげかもしれません。

今日は、有名な変圧​​器の論文の提出から 6 周年です。

論文リンク: https://arxiv.org/abs/1706.03762

6年前、プレプリント論文プラットフォームarXivに少々大げさな名前の論文がアップロードされ、「xx is All You Need」という文がAI分野の開発者らによって繰り返し繰り返されました。論文タイトルのトレンドにもなり、Transformer はもはやトランスフォーマーを意味するものではなく、AI 分野における最先端のテクノロジーを意味するようになりました。

6 年後、この論文を振り返ると、NVIDIA AI 科学者 Jim Fan が要約したように、多くの興味深い側面やあまり知られていない側面を見つけることができます。

「注意メカニズム」は、Transformer の作者が提案したものではありません

Transformer モデルは、伝統 CNN と RNN ユニットのネットワーク構造全体は、完全にアテンション メカニズムで構成されています。

Transformer の論文の名前は「Attending is All You Need」であり、そのおかげで私たちは注意のメカニズムを称賛し続けていますが、興味深い事実に注意してください。これは Transformer の論文ではありません。研究 研究者たちは注意力を発明しましたが、このメカニズムを極限まで推し進めました。

アテンション メカニズムは、深層学習のパイオニアであるヨシュア ベンジオ氏が率いるチームによって 2014 年に提案されました。

「Neural Machine Translation by Jointly」 Learning to Align and Translate」というタイトルは比較的シンプルです。

この ICLR 2015 論文で、Bengio らは、RNN の「コンテキスト ベクトル」 (つまり、注意) の組み合わせを提案しました。これは NLP 分野における最大のマイルストーンの 1 つですが、Transformer ほど知名度は低く、Bengio チームの論文はこれまでに 29,000 回引用され、Transformer は 77,000 回引用されています。

#AI の注意メカニズムは、人間の視覚的な注意を自然にモデル化しています。人間の脳には生来の能力が備わっています。写真を見るとき、まず写真を素早くスキャンし、次に焦点を合わせる必要があるターゲット領域に焦点を合わせます。

地域の情報を一切手放さないと、必然的に無駄な仕事が多くなり、生き残ることはできません。同様に、同様のメカニズムを深層学習ネットワークに導入すると、モデルが簡素化され、計算が高速化されます。本質的に、注意とは、大量の情報から少量の重要な情報をフィルタリングし、重要でない情報の大部分を無視しながら、この重要な情報に焦点を当てることです。

近年、アテンション メカニズムは、コンピューター ビジョンの方向で画像上の受容野をキャプチャしたり、画像内のキー トークンを特定したりするなど、深層学習のさまざまな分野で広く使用されています。 NLP、または特性。多数の実験により、アテンション メカニズムを備えたモデルが、画像分類、セグメンテーション、追跡、強調、および自然言語認識、理解、質問応答、翻訳などのタスクにおいて大幅なパフォーマンスの向上を達成したことが証明されています。

アテンション メカニズムを導入した Transformer モデルは、汎用シーケンス コンピュータとみなすことができます。アテンション メカニズムにより、モデルは入力シーケンスを処理する際に、シーケンス内の異なる位置の相関に基づいて異なる割り当てを割り当てることができます。アテンション ウェイトにより、Transformer は長距離の依存関係とコンテキスト情報をキャプチャできるようになり、シーケンス処理の効果が向上します。

しかし、当時、Transformer も最初の注目の論文もユニバーサル シーケンス コンピューターについては触れていませんでした。むしろ、著者らはこれを、機械翻訳という狭くて特定の問題を解決するためのメカニズムとして見ています。したがって、将来、AGI の起源をたどると、「謙虚な」Google 翻訳にまで遡ることができるかもしれません。

NeurIPS 2017 には受理されましたが、Oral すら獲得できませんでした

Transformer この論文は現在非常に影響力がありますが、2017 年のトップ AI ではありませんでした。その年、カンファレンス NeurIPS 2017 では、賞はおろか、口頭発表さえも得られませんでした。その年、カンファレンスには合計 3,240 件の論文投稿があり、そのうち 678 件がカンファレンス論文として選ばれました。Transformer 論文は受理された論文の 1 つでした。これらの論文のうち、40 件が口頭論文、112 件がスポットライト論文、そして 3 件が最優秀論文に選ばれました。論文、時間の試練賞、Transformer は賞の対象外です。

NeurIPS 2017 論文賞は逃しましたが、Transformer の影響は誰の目にも明らかです。

ジム・ファンは次のようにコメントしました: 影響力のある研究が影響力を持つようになる前に、人々がその重要性に気づくのが難しいのは審査員のせいではありません。ただし、幸運にもすぐに発見された論文もあり、たとえば、He Yuming 氏らが提案した ResNet が CVPR 2016 の最優秀論文を受賞しました。この研究は当然のことであり、AI のトップカンファレンスで正しく評価されました。しかし、2017 年の時点では、非常に賢明な研究者であっても、LLM によってもたらされる変化を予測することはできないかもしれません。1980 年代と同様に、2012 年以降にディープラーニングによってもたらされた津波を予測できた人はほとんどいませんでした。

8 人の著者、それぞれ素晴らしい人生を歩んでいます

当時、この論文の著者は 8 名で、Google とトロント大学の出身でした。 、そのほとんどは、論文の著者全員が元の機関を辞めています。

2022 年 4 月 26 日、「Adept」という会社が正式に設立されました。共同創設者は 9 名で、その中にはトランスフォーマー論文の著者の 2 人である Ashish Vaswani と Niki も含まれます。パルマル。

##アシシュ バスワニ 南カリフォルニア大学で中国人学者の David Chiang 氏と Liang Huang 氏の指導のもとで博士号を取得し、主に言語モデリングにおける現代の深層学習の初期応用を研究しました。 2016 年に Google Brain に入社し、Transformer 研究を主導し、2021 年に Google を退社しました。

Niki Parmar 南カリフォルニア大学を修士号を取得して卒業し、2016 年に Google に入社しました。そこにいる間、彼女は Google 検索と広告用の Q&A モデルとテキスト類似性モデルをいくつか開発し、成功を収めました。彼女は、Transformer モデルを画像生成、コンピューター ビジョンなどの分野に拡張する初期の作業を主導しました。 2021年に彼女もGoogleを退職した。

退職後、2 人は Adept を共同設立し、それぞれ主任科学者 (Ashish Vaswani) と最高技術責任者 (Niki Parmar) を務めました。 Adept のビジョンは、さまざまなソフトウェア ツールや API を使用できるように訓練された「人工知能チームメイト」と呼ばれる AI を作成することです。

2023 年 3 月、アデプトはシリーズ B で 3 億 5,000 万米ドルの資金調達が完了したことを発表し、企業評価額は 10 億米ドルを超え、ユニコーン企業となりました。しかし、Adept が公的に資金を調達するまでに、Niki Parmar と Ashish Vaswani は Adept を去り、独自の新しい AI 会社を設立していました。しかし、この新会社は依然として機密扱いであり、会社に関する詳細な情報を入手することはできません。

もう一人の論文著者 Noam Shazeer は、Google の初期の最も重要な従業員の 1 人です。彼は 2000 年末に Google に入社し、2021 年に退社し、その後「Character.AI」という新興企業の CEO になりました。

Character.AI の創設者は、Noam Shazeer に加えて、Daniel De Freitas であり、2 人とも Google の LaMDA チームの出身です。以前、彼らは Google の会話プログラムをサポートする言語モデルである LaMDA を構築しました。

今年 3 月、Character.AI は 1 億 5,000 万米ドルの資金調達が完了し、評価額は 10 億米ドルに達したと発表しました。 ChatGPTが所属するOpenAIと競合する企業でもあり、わずか16ヶ月でユニコーンに成長した稀有な企業です。そのアプリケーションである Character.AI は、人間のようなテキスト応答を生成し、状況に応じた会話を行うことができるニューラル言語モデルのチャットボットです。

Character.AI は、2023 年 5 月 23 日に Apple App Store と Google Play ストアでリリースされ、最初の週に 170 万回以上ダウンロードされました。 2023 年 5 月、このサービスは c.ai と呼ばれる月額 9.99 ドルの有料サブスクリプションを追加しました。これにより、ユーザーは優先チャット アクセス、応答時間の短縮、新機能への早期アクセスなどの特典が得られます。

Aidan N. Gomez 2019 年に Google を退社その後、FOR.ai で研究者として働き、現在は Cohere の共同創設者兼 CEO です。

Cohere は、2019 年に設立された生成 AI スタートアップです。その中核事業には、NLP モデルの提供と、企業による人間とコンピューターのインタラクションの改善支援が含まれます。創設者の 3 人は Ivan Zhang、Nick Frosst、Aidan Gomez で、このうち Gomez と Frosst は Google Brain チームの元メンバーです。 2021 年 11 月、Google Cloud は Cohere と提携し、Google Cloud はその堅牢なインフラストラクチャを使用して Cohere プラットフォームを強化し、Cohere は Cloud の TPU を使用して製品の開発とデプロイを行うことを発表しました。

Cohere がシリーズ C 資金調達で 2 億 7,000 万米ドルを受け取り、時価総額 22 億米ドルのユニコーンになったことは注目に値します。

Łukasz Kaiser2021 年に Google を退職し、Google で働く I 7年9ヶ月勤務し、現在はOpenAIの研究員をしています。 Google で研究員として働きながら、機械翻訳、解析、その他のアルゴリズムおよび生成タスク用の SOTA ニューラル モデルの設計に参加し、TensorFlow システムと Tensor2Tensor ライブラリの共著者でもあります。

Jakob Uszkoreit は 2021 年に Google を退職し、Google After で働きました13 年後、彼は Inceptive に入社し、共同創設者になりました。 Inceptive は、深層学習を使用して RNA 医薬品を設計することに特化した AI 製薬会社です。

Jakob Uszkoreit は、Google で働いている間、Google アシスタントの言語理解チームの結成に参加し、初期には Google 翻訳にも取り組みました。

Illia Polosukhin は 2017 年に Google を退職し、現在は NEAR Co に勤務しています。 -.AI (ブロックチェーン基盤テクノロジー企業) の創設者兼 CTO。

Google に残っているのは リオン ジョーンズ だけです, 今年で Google に入社して 9 年目になります。

論文「Attention Is All You Need」の出版から 6 年が経過しました。著者には退職を選択する人もいれば、Google に残ることを選択する人もいます。何があろうとも、Transformer の影響力は続きます。

以上がTransformer 6 周年: 当時は NeurIPS Oral さえ入手できませんでしたが、8 人の著者が複数の AI ユニコーンを設立しましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。