「Yi Tay: Google を辞めて起業家としての道を歩み始め、3 年間で 16 本の質の高い論文を発表した科学者」

GPT-4 がリリースされてから 2 日目、チューリング賞受賞者のジェフリー ヒントンは、次のような素晴らしい比喩を寄稿しました。「毛虫は食物から栄養素を抽出し、その後蝶に変わります。理解への手がかりが抽出され、GPT-4 は人類の蝶です。」

わずか 2 週間で、この蝶はさまざまな分野にハリケーンを引き起こしたようです。これに伴い、AI 業界は起業家精神の新たな波をもたらしました。その中にはグーグルなどの大企業出身の起業家も多い。

大規模な AI モデルに関する論文をよく読む人なら、Yi Tay はよく知られた名前に違いありません。 Google Brain の上級研究員として、Yi Tay は、PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI、ママさん、その他。

Yi Tay の個人統計によると、Google Brain での 3 年半の間に、合計約 45 件の論文の執筆に参加し、そのうち 16 件の共著者でした。執筆論文には、UL2、U-PaLM、DSI、Synthesizer、Charformer、Long Range Arenaなどが含まれます。

Google を辞めて自分のビジネスを始めたほとんどの Transformer 著者と同様に、Yi Tay も会社を辞めて新しい人生に向けて進むのに適した時期を見つけました。旅。

Yi Tay 氏はブログ投稿で辞任のニュースを正式に発表し、最新の個人情報で次の行動を明らかにしました。それは、Reka company という会社の設立に参加することです。同社の主任科学者として大規模な言語モデルに重点を置いています。

Yi Tay 氏は、Reka がサンフランシスコ ベイエリアに拠点を置き、元 DeepMind、FAIR、Google Brain の研究者とエンジニアの強力なチームによって共同設立されたことも明らかにしました。

Yi Tay 氏に加えて、香港大学コンピューター サイエンス学部助教授の Liu Qi 氏も、自身のホームページで、動的基本モデルのマルチモード開発を専門とする「Reka」という会社です。 Liu Qi は博士課程の在学中、Google で一定期間インターンをし、Yi Tay と「Quaternion Knowledge Graph Embedding」などの論文を共著しました。

「Reka」の公式ウェブサイトがまだ開設できないため、一時的に会社に関する詳細な情報を取得することができません。

Google に別れを告げる際に、Yi Tay は感謝の気持ちを込めてブログを書き、Google とその優秀な同僚たちから学んだことなので、Google を離れることは卒業のような気分だと述べました。私はメンターやマネージャーから多くのことを学びました。

Google は私にとって、本当に素晴らしい研究の仕方を学んだ場所なので、これからもずっと特別です。私が初めて参加したときのことを思い出します。多くの有名で影響力のある論文の著者をこれほど近くで見たとき、私はお気に入りのスターとファンミーティングをしているような気分でした。これは私にとって素晴らしい感覚刺激であり、とてもやる気とインスピレーションを与えてくれます。私は今でも、少なくとも彼らのほとんどが去る前に、彼らの多くと一緒に働き、学ぶことができたことに感謝しています。

#たくさんのことを学びました。

広い観点から、批判的な研究を実施することの重要性と、具体的な影響を与えるという目標に向かって研究を推進する方法を学びました。大学では、(卒業や他のことをするために) N 枚の学会論文を提出しなければならないとだけ言われます。 Google では、物事を本格的に進め、実際に影響を与える必要があります。

私にとって、ここでの最大のインスピレーションは、エンドツーエンドの方法で研究革新プロセスを所有する方法、つまり、アイデアから論文/特許、生産に至るまでの方法についてです。そして最後にユーザーにサービスを提供します。かなりの程度、このプロセスにより私はより良い研究者になったと思います。

私の成長を一言で表すなら、私の研究プロセス全体は「突然」ではなく「スムーズ」だったと言えると思います。私自身の研究能力は、時間の経過とともに上達し、Google 文化に浸るにつれて直線的に向上していったと思います。それは拡散プロセスのようなものです。私は今でも研究環境は非常に重要だと考えています。

Google の最大の利点は「人材」であると誰もが言います。全くもって同じ意見です。研究者として、そして人間としての私の成長に多大な役割を果たしてくれた親しい協力者や指導者の皆様に、私は永遠に感謝しています。

一緒に働く機会を与え、常に助けてくれた現在のマネージャー (Quoc Le) と前のマネージャー (Don Metzler) に心の底から感謝したいと思います。私を、部下としてではなく、一人の人間として。また、この旅を通して私をサポートしてくれたエド・チー、デニー・チョウ、スラブ・ペトロフなどの退役軍人にも感謝したいと思います。最後に、私を気に入って Google に入社させてくれた Andrew Tomkins に感謝したいと思います。

これまで私と一緒に過ごしてくれた親しい友人/協力者 (Mostafa Dehghani、Vinh Tran、Jason Wei、Hyung Won、Steven Zheng、Siamak Shakeri) にも感謝します。楽しい時間を過ごしてください。 : 最新のトピックを共有し、お互いに学び、一緒に論文を書き、研究について議論します。

大規模な AI モデル起業の波が海外で始まっている一方で、国内のスタートアップ企業も人材を求めて熾烈な争いを始めていることは言及に値します。たとえば、一部のメディアは、中国のOpenAIの構築を目指す王恵文氏も兵員を募集しており、清華NLP企業2社（Shenyan TechnologyとWall-Facing Intelligence）の買収を計画していることを明らかにした。 Heart of the Machine Talent AI コラムでは、国内トップクラスの AI 研究所、複数のスタートアップ企業、および多くの定量的投資機関も大規模なモデル人材を積極的に探していることもわかりました。

以上が「Yi Tay: Google を辞めて起業家としての道を歩み始め、3 年間で 16 本の質の高い論文を発表した科学者」の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。