ChatGPT の真のヒーロー: OpenAI のチーフサイエンティスト、Ilya Sutskever の信念の飛躍

ChatGPT の登場は多くの注目を集めていますが、その背後にある知られざる天才を忘れてはなりません。 Ilya Sutskever は、OpenAI の共同創設者兼主任科学者です。彼のリーダーシップの下で、OpenAI は最先端技術の開発と人工知能分野の進歩において大きな進歩を遂げました。

この記事では、Sutskever が 20 年間でどのようにして若手研究者から人工知能分野の第一人者に成長したのかを探っていきます。あなたが AI 愛好家、研究者、または単にこの分野の内部構造に興味がある人であっても、この記事は貴重な視点と情報を提供します。

#この記事は次のタイムラインに従っています:

2003: Ilya Sutskever の見習いの旅

2011: AGI の最初の紹介

2012: 画像認識の革命

2013: DNNresearch の Google へのオークション

2014: 言語翻訳の革命

2015: Google から OpenAI へ: 新しい人工知能の時代 第

#2018 年: GPT 1、2、3

2021: DALL-E の開発 1

2022: ChatGPT を世界に公開

Ilya Sutskever

OpenAI の共同創設者兼主席科学者、2005 年にトロント大学を卒業し、 2012 年に CS 学位取得、Ph.D. 2012 年から現在まで、スタンフォード大学、DNNResearch、Google Brain で機械学習とディープラーニング関連の研究に従事し、2015 年に Google での高給の職を辞し、Greg Brockman と OpenAI を共同設立しました。 GPT-1、2、3、DALLEシリーズを開発。 2022 年に英国王立科学協会のフェローに選出されました。彼は人工知能分野の先駆者であり、人工知能の現在の状況の形成に貢献し、機械学習で可能なことの限界を押し広げ続けています。彼の人工知能に対する情熱は、ディープラーニングと機械学習の分野の発展を形作った画期的な研究に影響を与えました。

2003: イリヤ・サツケヴァーの第一印象

サツケヴァーヒントン: なぜ理解できないのですか? サツケヴァー: 人は問題を解決するためにニューラル ネットワークをトレーニングします。別の問題を解決したいときは、別のニューラル ネットワークでトレーニングをやり直す必要があります。しかし、私は人々はあらゆる問題を解決できるニューラルネットワークを持っているべきだと思います。

サツケヴァー氏は、トロント大学の学部生だったとき、ジェフリー・ヒントン教授の深層学習研究室に参加したいと考えていました。そこで、ある日、彼はヒントン教授のオフィスのドアをノックし、研究室に参加できないか尋ねました。教授は事前に予約を取るように彼に言いましたが、サツケヴァーさんはこれ以上時間を無駄にしたくなかったので、すぐにこう尋ねました。「今はどうですか？」

ヒントンさんは、サツケヴァー氏がそう思っていることに気づきました。彼は熱心な学生だったので、読んでほしいと2冊の論文を渡しました。 1週間後、スツケヴァー氏は教授室に戻り、理解できないと告げた。

「なぜ分からないのですか？」と教授は尋ねた。

「人は問題を解決するためにニューラル ネットワークをトレーニングしますが、別の問題を解決したい場合は、別のニューラル ネットワークを最初からやり直す必要があります。しかし、私は人々はそうすべきだと思います。すべての問題を解決できるニューラル ネットワークです。」

この一節は、結論を引き出すサツケヴァーの独特の能力を示しており、これは経験豊富な研究者でも結論を導き出すのに何年もかかるであろう能力を備えています。発見すると、ヒントンは彼の研究室に招待されました。

2011: AGI との最初の出会い############################# Sutskever: 私この考えには同意しません (AGI)#########

Sutskever 氏がまだトロント大学にいたとき、DeepMind での仕事を見つけるためにロンドンに飛びました。そこで彼は、AGI (汎用人工知能) を構築していたデミス・ハサビスとシェーン・レッグ (DeepMind の共同創設者) に会いました。 AGI は、人間のように考え、推論することができ、自然言語の理解、経験からの学習、意思決定、問題の解決など、人間の知能に関連するさまざまなタスクを実行できる汎用人工知能です。

当時、AGI は本格的な研究者が語るようなものではありませんでした。また、サツケヴァー氏は現実との乖離を感じたため、その仕事を断り、大学に戻り、最終的に 2013 年に Google に入社しました。

2012: 画像認識革命

ImageNet コンペティションで優勝

ジェフリー・ヒントンは独自のビジョンを持っており、他の人が信じていなかったディープラーニングを信じていました。そして彼は、ImageNet コンテストでの成功がこの論争に完全に決着をもたらすと固く信じています。

ImageNet コンペティション: スタンフォード大学研究室は、毎年 ImageNet コンペティションを開催しています。彼らは慎重にラベル付けされた写真の大規模なデータベースを出場者に提供し、世界中から研究者が集まり、より多くの画像を認識できるシステムを作成しようと競い合います。

ヒントンの生徒の 2 人、イリヤ・サツケヴァーとアレックス・クリジェフスキーがこのコンテストに参加しました。 彼らは従来の手動設計スキームを打ち破り、ディープ ニューラル ネットワークを採用し、75% の精度マークを突破しました。 そこで、彼らは ImageNet コンペティションで優勝し、そのシステムは後に AlexNet と名付けられました。

それ以来、画像認識の分野はまったく新しい様相を呈しました。

その後、Sutskever、Krizhevsky、Hinton は AlexNet に論文を発表しました。この論文はコンピュータ サイエンスで最も引用される論文の 1 つとなり、他の研究者によって合計 60,000 回以上引用されました。

2013: DNNresearch の Google へのオークション

##Sutskever&Krizhevsky :あなたは配当金のより多くの割合を受け取る権利があります。ヒントン: あなたは私のお金を分け与えすぎています。スツケヴァー＆クリジェフスキー: しかし、私たちはすでにあなたに大きな分け前を与えることを決めています。ヒントン: それは彼らの性格を物語っています。

ヒントンは、スツケヴァーとクリジェフスキーとともに、DNNresearch という新しい会社を設立しました。彼らは製品を持っておらず、将来的に製品を作る予定もありません。

ヒントンは、新しい会社の価値を最大化する方法を弁護士に尋ねました。現在従業員は 3 人しかおらず、製品も基盤もありません。弁護士が彼に与えた選択肢の 1 つは、オークションを開催することでした。この買収には、Baidu、Google、Microsoft、DeepMind (当時はロンドンに拠点を置く若い新興企業) の 4 社が関与しました。最初に撤退したのは DeepMind で、次に Microsoft が続き、最終的には Baidu と Google だけが競合として残されました。

ある夜の真夜中近くまでに、オークション価格は4,400万ドルにも達し、ヒントンは入札を一時停止して眠りについた。翌日、彼はオークションが終了したと発表し、研究に適した場所を見つけることがより重要であると判断し、自社を 4,400 万ドルで Google に売却した。

現時点では、ヒントンも生徒たちと同様、経済的利益よりも自分たちのアイデアを優先しています。

収益を分割する段階になったとき、ヒントンは自分たちが得たほうがよいと示唆したにも関わらず、サツケヴァーとクリジェフスキーはヒントンがより多くの分け前（40％）を取得すべきだと主張した。少し眠ってください。翌日になっても彼らはこの配布方法を主張した。ヒントンは後に「それは私ではなく、彼らが人として誰であるかを反映している」とコメントした。

その後、Sutskever 氏は Google Brain の研究員になり、彼の考えはさらに変化し、DeepMind の創設者の考えと徐々に一致し始めました。彼は、AGI の未来が目の前にあると信じ始めました。もちろん、スツケヴァー自身も、新しい情報や経験に直面して考えを変えることを恐れたことはありません。 結局のところ、AGI を信じるには、飛躍的な信念が必要です , セルゲイ・レヴィン (Google でのサツケヴァーの同僚) は、サツケヴァーについて次のようにコメントしています: 「彼は、 「信じる」ことを恐れないでください。」

2014: 言語翻訳における革命

##Sutskever: 正しい結論は、非常に大規模なデータセットと非常に大規模なニューラル ネットワークがある場合、成功は避けられないということです。 (最もパフォーマンスの高い翻訳者)

DNNResearch を買収した後、Google は Sutskever を Google Brain の研究員として雇用しました。

Google で働いていたとき、Sutskever は英語をフランス語に翻訳できるニューラル ネットワークの変種を発明しました。彼は、入力 (英語の文など) のシーケンス構造を取得し、それを同じくシーケンス構造を持つ出力 (フランス語の文など) にマッピングする「シーケンス ツー シーケンス学習」を提案しました。

研究者らはニューラルネットワークが翻訳できるとは信じていなかったので、実際に翻訳できたときは大きな驚きだったと同氏は述べた。 彼の発明は、最もパフォーマンスの高い翻訳者を打ち破り、Google 翻訳に大幅なアップグレードを提供します。 言語翻訳は、決して同じものになることはありません。

#2015: Google から OpenAI へ: 人工知能の新たな章

サム・アルトマンとグレッグ・ブロックマンは、サツケヴァーと他の9人の研究者を集めて、この分野で最高の頭脳を集めた研究所を設立することがまだ可能かどうかを確認しました。 OpenAI となる研究室についての議論が始まったとき、Sutskever 氏は、自分の信念と願望を共有する、志を同じくする人々のグループを見つけたことに気づきました。

ブロックマン氏は 10 人の研究者に研究室への参加を呼びかけ、決定するまで 3 週間の猶予を与えました。このことを知ったグーグルは、サツケヴァー氏に多額の資金を提供して参加を申し出た。拒否された後、Google は初年度の給与を 200 万ドル近くに増額したが、これは OpenAI が彼に支払っていた額の 2 ～ 3 倍であった。

しかし、サツケヴァー氏は、Google での数百万ドルのオファーを喜んで辞退し、最終的には非営利団体 OpenAI の共同創設者になりました。

OpenAI の目標は、人工知能を使用して全人類に利益をもたらし、責任ある方法で人工知能を進歩させることです。

2018: GPT 1、2、3 の開発

主導Sutskever 氏による OpenAI は GPT-1 を発明し、その後 GPT-2、GPT-3、ChatGPT に開発されました。

GPT (Generative Pre-trained Transformer) モデルは、ニューラル ネットワークに基づく一連の言語モデルです。 GPT モデルのすべての更新は、自然言語処理の分野における画期的な進歩です。

• GPT-1 (2018) : これは、大規模なインターネット テキスト データセットでトレーニングされたシリーズの最初のモデルです。その重要な革新の 1 つは、教師なし事前トレーニングの使用であり、モデルは、先行する単語のコンテキストに基づいて文内の単語を予測することを学習します。これにより、モデルは言語構造を学習し、人間のようなテキストを生成できるようになります。
• GPT-2 (2019) : GPT-1 、より大きなデータセットでトレーニングされたため、より強力なモデルが得られました。 GPT-2 の主な進歩の 1 つは、幅広いトピックに関する一貫性のある流暢なテキスト文章を生成する機能であり、教師なし言語の理解と生成タスクにおいて重要な役割を果たします。
• ##GPT-3 (2020)：GPT-3 は、規模とパフォーマンスの両方において大幅な進歩を遂げています。これは、以前のモデルよりもはるかに大きい 1,750 億個のパラメーターを使用して大規模なデータセットでトレーニングされました。 GPT-3 は、質問応答、機械翻訳、要約などの幅広い言語タスクにおいて、人間に近い機能で最先端のパフォーマンスを実現します。また、単純なコーディング タスクを実行し、一貫したニュース記事を作成し、さらには詩を生成する能力も示します。
• GPT-4: 間もなく登場すると予想されており、2023 年になると予想されます。

#2021: DALL-E 1 の開発

Sutskever 氏は、AI 主導の画像生成モデルである DALL-E 1 の発明でも OpenAI を主導しました。 GPT モデルと同様のアーキテクチャとトレーニング プロセスを使用しますが、テキストの代わりに画像の生成に適用されます。

今日の主要な画像ジェネレーターの多く (DALL-E 2、MidJourney) は、同じトランスフォーマー アーキテクチャに基づいており、同様のトレーニングに取り組むため、そのルーツは DALL-E 1 にあります。画像データセットと関連するテキストの説明に対して実行されます。さらに、DALL-E 2 と MidJourney は両方とも、DALL-E 1 の微調整プロセスに基づいています。

2022: ChatGPT を世界に公開

2022 年 11 月 30 日, 2019 年、Sutskever 氏は ChatGPT の立ち上げに協力し、広く世間の注目を集め、わずか 5 日間でユーザー数が 100 万人にまで成長しました。

ChatGPT は、大規模なテキスト データセットでディープ ニューラル ネットワークを事前トレーニングし、質問への回答やテキストの生成などの特定のタスクで微調整することによって機能します。これは、GPT-3 言語モデルに基づく会話型人工知能システムです。

会話のコンテキストを理解し、適切な応答を生成することは、ChatGPT の主な機能の 1 つです。ボットは会話のスレッドを記憶し、以前の質問と回答に基づいてフォローアップの応答を行います。事前にプログラムされた反応に限定されることが多い他のチャットボットとは異なり、ChatGPT はアプリ内で反応を生成できるため、よりダイナミックで多様な会話が可能になります。

イーロン マスクは OpenAI の創設者の 1 人です。彼は次のように述べています:

「ChatGPT は恐ろしく優れています。私たちは危険なほど強力な人工知能からそう遠くはありません。」 。」。 文末脚注

Ilya Sutskever の人工知能に対する情熱は、この分野の方向性を変える画期的な研究を推進しました。ディープラーニングと機械学習における彼の研究は、最先端技術の進歩とこの分野の将来の方向性の形成に貢献してきました。

私たちはまた、人工知能の分野におけるサツケヴァー氏の研究の影響を直接目撃しました。彼はこの分野の方向性を変え、今後もこの方向に取り組み続けるだろう。 物質的な誘惑に何度も直面したにもかかわらず、サツケヴァーは自分の情熱を追求し、研究に集中することを選択しました;彼の仕事への献身は、どの研究者にとっても模範的です。

今、私たちはサツケヴァーが私たちの世界に与えた影響を目の当たりにしました。明らかに、これは始まりにすぎません。

###

以上がChatGPT の真のヒーロー: OpenAI のチーフサイエンティスト、Ilya Sutskever の信念の飛躍の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。