BERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約

すべての成功には痕跡があり、ChatGPT も例外ではありません。

つい最近、チューリング賞受賞者のYann LeCun氏が、ChatGPTに対する厳しい評価を理由にホット検索リストに入れられました。

彼の見解では、「基盤となるテクノロジーに関する限り、ChatGPT には特別な革新性はありません」、また「何か革命的なもの」でもありません。多くの研究機関が同じテクノロジーを使用し、同じ作業を行っています。さらに、ChatGPT とその背後にある GPT-3 は、多くの点で、複数の関係者によって長年にわたって開発された複数のテクノロジで構成されており、さまざまな人々による数十年にわたる貢献の結果です。したがって、LeCun 氏は、ChatGPT は科学的な画期的な進歩というよりも、適切な工学的な例であると考えています。

「ChatGPT が革新的かどうか」は物議を醸すトピックです。しかし、これまでに蓄積された多くのテクノロジーに基づいて構築されていることは疑いの余地がありません。たとえば、コアとなる Transformer は数年前に Google によって提案され、Transformer は Bengio のアテンションの概念に関する研究からインスピレーションを受けました。さらに遡れば、さらに数十年前の研究とリンクすることもできます。

もちろん、一般の人々にはこの段階的な感覚を理解できないかもしれません。結局のところ、誰もが論文を 1 つずつ読むわけではありません。しかし、技術者にとって、これらのテクノロジーの進化を理解することは依然として非常に役立ちます。

最近の総説記事では、ミシガン州立大学、北京航空大学、リーハイ大学、その他の機関の研究者がこの分野を注意深く調査しました。主に、数百の論文があります。テキスト、画像、グラフ学習の分野における基本モデルの事前トレーニングに焦点を当てており、読む価値があります。デューク大学教授、カナダ工学アカデミー会員ペイ・ジャン,大学コンピューターサイエンス学部特別教授イリノイ州シカゴにてYu Shilun（Philip S. Yu ）、Salesforce AI Research 副社長Xiong CaimingDu は、論文の著者。

# 論文リンク: https://arxiv.org/pdf/2302.09419.pdf

論文の目次は次のとおりです:

海外のソーシャル プラットフォームで、DAIR.AI の共同創設者 Elvis S. がこのレビューを推薦し、1 件を獲得しました「いいね！」が千件以上。

はじめに

事前トレーニング済み基本モデル (PFM) は、ビッグデータ時代の人工知能の重要な部分です。 「ベーシック モデル」という名前は、Percy Liang 氏、Li Feifei 氏らが発表したレビュー「基礎モデルの機会とリスクについて」に由来しており、モデルの種類とその機能の総称です。 PFM は、NLP、CV、グラフ学習の分野で広く研究されています。これらは、テキスト分類、テキスト生成、画像分類、オブジェクト検出、グラフ分類などのさまざまな学習タスクにおける特徴表現学習に大きな可能性を示します。大規模なデータセットを使用した複数のタスクのトレーニングでも、小規模なタスクの微調整でも、PFM は優れたパフォーマンスを発揮するため、データ処理を迅速に開始できます。

PFM と事前トレーニング

PFM は事前トレーニング テクノロジーに基づいており、大規模なトレーニングを利用することを目的としています。さまざまなダウンストリーム アプリケーションで簡単に微調整できる一般的なモデルをトレーニングするためのデータとタスクの量。

事前トレーニングのアイデアは、CV タスクにおける転移学習から生まれました。しかし、CV 分野でこのテクノロジーの有効性が確認された後、他の分野でモデルのパフォーマンスを向上させるためにこのテクノロジーを使用し始めました。

事前トレーニング テクノロジを NLP 分野に適用すると、十分にトレーニングされた言語モデルによって、長期的な依存関係や階層関係など、下流のタスクに有益な豊富な知識を取得できます。 、など。さらに、NLP の分野における事前トレーニングの大きな利点は、ラベルのないテキスト コーパスからトレーニング データを取得できることです。つまり、事前トレーニング プロセスに使用できるトレーニング データの量がほぼ無制限であることです。 。初期の事前トレーニングは NNLM や Word2vec などの静的手法でしたが、静的手法はさまざまなセマンティック環境に適応するのが困難です。したがって、BERT、XLNet などの動的事前トレーニング手法が提案されています。図 1 は、NLP、CV、および GL の分野における PFM の歴史と進化を示しています。事前トレーニング技術に基づく PFM は、大規模なコーパスを使用して一般的な意味表現を学習します。これらの先駆的な成果の導入に続いて、さまざまな PFM が登場し、下流のタスクやアプリケーションに適用されています。

最近人気の ChatGPT は、PFM アプリケーションの代表的なケースです。これは、大量のこの論文とコードを使用してトレーニングされた生成事前トレーニング済みトランスフォーマー モデル GPT-3.5 から微調整されています。さらに、ChatGPT は人間のフィードバックからの強化学習 (RLHF) を適用します。これは、大規模な LM を人間の意図に合わせて調整する有望な方法として浮上しています。 ChatGPT の優れたパフォーマンスは、命令調整技術、強化学習、プロンプト チューニング、思考連鎖の適用など、各タイプの PFM のトレーニング パラダイムに変化をもたらし、一般的な人工知能に移行する可能性があります。

この記事では、比較的成熟した研究分類手法であるテキスト、画像、グラフの分野の PFM に焦点を当てます。テキストの場合、シーケンス内の次の単語または文字を予測するために使用される汎用 LM です。たとえば、PFM は機械翻訳、質問応答システム、トピック モデリング、感情分析などに使用できます。画像の場合、テキストの PFM に似ており、膨大なデータセットを使用して、多くの CV タスクに適した大規模なモデルをトレーニングします。グラフの場合、同様の事前トレーニングのアイデアを使用して、多くの下流タスクで使用される PFM を取得します。この記事では、特定のデータ ドメイン用の PFM に加えて、音声、ビデオ、クロスドメイン データ用の PFM やマルチモーダル PFM など、他のいくつかの高度な PFM についてもレビューし、詳しく説明します。さらに、マルチモーダル タスクを処理できる PFM が大幅に統合され、いわゆる統合 PFM が出現しています。著者らはまず統合 PFM の概念を定義し、次に SOTA を実現した統合 PFM (OFA、UNIFIED-IO、FLAVA、BEiT-3 など) に関する最近の研究をレビューします。

上記 3 つの分野における既存の PFM の特徴を踏まえ、筆者は、PFM には次の 2 つの大きな利点があると結論付けています。まず、下流タスクのパフォーマンスを向上させるために、モデルを微調整するだけで済みます。次に、PFM は品質の面で精査されています。同様の問題を解決するためにモデルを最初から構築する代わりに、PFM をタスク関連のデータ セットに適用できます。 PFM の幅広い見通しにより、モデルの効率、セキュリティ、圧縮などの問題に焦点を当てた大量の関連作業が行われてきました。

論文の寄稿と構成

この記事の公開前に、いくつかのレビューがいくつかありました。テキスト生成、ビジュアルトランスフォーマー、ターゲット検出などの分野における特定の事前トレーニング済みモデル。

「基礎モデルの機会とリスクについて」では、基礎モデルの機会とリスクについてまとめています。しかし、既存の研究では、トレーニング前のタスク、効率、有効性、プライバシーなど、さまざまなドメイン (CV、NLP、GL、音声、ビデオなど) における PFM のさまざまな側面の包括的なレビューは達成されていません。このレビューでは、著者らは、NLP 分野における PFM の進化と、事前トレーニングがどのように CV および GL 分野に移され、採用されてきたかについて詳しく説明します。

他のレビューと比較すると、この記事は 3 つの分野すべてにおける既存の PFM の包括的な紹介と分析を提供するものではありません。以前の事前トレーニング済みモデルのレビューとは異なり、著者は、従来のモデルから PFM までの既存のモデルと 3 つの分野の最新の研究を要約しています。従来のモデルは静的な特徴学習を重視しています。ダイナミック PFM は、主流の研究である構造についての入門を提供します。

著者はさらに、他の高度で統合された PFM、モデルの効率と圧縮、セキュリティ、プライバシーなど、PFM に関する他の研究をいくつか紹介します。最後に、著者らは将来の研究課題とさまざまな分野の未解決の問題をまとめています。また、付録 F および G では、関連する評価指標とデータセットの包括的な紹介も提供します。

要約すると、この記事の主な貢献は次のとおりです:

• PFM への NLP、CV、および GL の開発は、詳細かつ最新の内容でレビューされています。このレビューでは、著者らは、これら 3 つの主要なアプリケーション分野における一般的な PFM の設計と事前トレーニング方法について議論し、洞察を提供しています。
• は、他のマルチメディア分野における PFM の開発を要約しています。音声や映像など。さらに、著者は、統合 PFM、モデルの効率と圧縮、セキュリティとプライバシーなど、PFM に関する最先端のトピックについても説明します。
• 著者は、さまざまなタスクにおける PFM のさまざまなモードのレビューを通じて、新世代を導くビッグデータ時代の超大規模モデルに関する将来の研究の主な課題と機会について説明します。 PFM ベースの協調的でインタラクティブなインテリジェンスを実現します。

各章の主な内容は次のとおりです。

この文書の第 2 章では、 PFM アーキテクチャの一般的な概念。

# 第 3 章、第 4 章、および第 5 章では、それぞれ NLP、CV、および GL の分野における既存の PFM を要約します。

##第 6 章と第 7 章では、最先端の統合 PFM、モデルの効率と圧縮、セキュリティとプライバシーなど、PFM に関するその他の最先端の研究を紹介します。

第 8 章では、PFM の主な課題を要約します。第 9 章では全文を要約しています。

以上がBERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。