限られたリソースでモデルの効率を向上させるにはどうすればよいでしょうか?効率的なNLP手法をまとめた記事

過去 10 年間で、ますます大規模な深層学習モデルをトレーニングすることが新たなトレンドになりました。以下の図に示すように、モデル パラメーターの数が継続的に増加することで、ニューラル ネットワークのパフォーマンスはますます向上し、新しい研究の方向性も生まれていますが、モデルに関する問題もますます増えています。

#第一に、このタイプのモデルはアクセスが制限されていることが多く、オープンソースではないか、オープンソースであっても依然として多くの作業が必要です。実行するコンピューティング リソースの数。第 2 に、これらのネットワーク モデルのパラメーターは普遍的ではないため、トレーニングと導出に大量のリソースが必要になります。第三に、パラメータのサイズはハードウェアによって制限されるため、モデルを無制限に拡張することはできません。これらの問題に対処するために、効率の向上に焦点を当てた新しい研究トレンドが現れています。

最近、ヘブライ大学、ワシントン大学、その他の機関の十数人の研究者が共同で、自然言語処理 (NLP) の分野における効率的な手法をまとめたレビューを執筆しました。

論文アドレス: https://arxiv.org/pdf/2209.00099.pdf

効率とは通常、入力システムを指します。リソースとシステム出力の関係: 効率的なシステムは、リソースを無駄にすることなく出力を生成できます。 NLP の分野では、効率をモデルのコストとそれが生み出す結果との関係として考えます。

式 (1) は、特定の結果 (R) を生成するための人工知能モデルのトレーニング コスト (Cost) と 3 つの (不完全な) 要素を表します。 :

(1) 単一サンプルでモデルを実行するコスト (E);

(2) トレーニング データ セットのサイズ (D);

(3) モデルの選択またはパラメーターの調整に必要なトレーニングの実行数 (H)。

計算コスト、時間コスト、環境コストのそれぞれをさまざまな方法でさらに定量化できるため、コスト(・) を複数の次元に沿って測定できます。たとえば、計算コストには、浮動小数点演算 (FLOP) の総数やモデル パラメーターの数が含まれる場合があります。単一のコスト指標を使用すると誤解を招く可能性があるため、この調査では効率的な NLP の複数の側面に関する研究を収集して整理し、どのユースケースにどの側面が有益であるかを議論します。

この調査は、NLP の効率を向上させるための幅広い方法を基礎的に紹介することを目的としています。そのため、この調査では、この調査を典型的な NLP モデル パイプライン (以下の図 2) に従って整理し、その方法を紹介します。各段階の既存の方法をより効率的にするため。

この作品は、主に次の 2 つのタイプの読者を対象とした、NLP 研究者向けの実用的な効率ガイドを提供します。リソースが限られた環境での作業を支援するための NLP のさまざまな分野: リソースのボトルネックに応じて、読者は NLP パイプラインがカバーする側面に直接ジャンプできます。たとえば、主な制限が推論時間である場合、この論文の第 6 章では、関連する効率の向上について説明しています。

(2) NLP 手法の現在の効率を改善することに関心のある研究者。この論文は、新しい研究の方向性の機会を特定するための入り口として機能します。

以下の図 3 は、この研究でまとめた効率的な NLP 手法の概要を示しています。

さらに、ハードウェアの選択はモデルの効率に大きな影響を与えますが、ほとんどの NLP 研究者はハードウェアに関する決定を直接管理していません。ハードウェアの最適化は、NLP パイプラインのすべてのステージで役立ちます。したがって、この研究ではアルゴリズムに焦点を当てますが、第 7 章ではハードウェアの最適化について簡単に説明します。最後に、効率を定量化する方法、評価プロセス中に考慮すべき要素、および最適なモデルを決定する方法についてさらに説明します。

興味のある読者は、論文の原文を読んで研究の詳細を学ぶことができます。

以上が限られたリソースでモデルの効率を向上させるにはどうすればよいでしょうか?効率的なNLP手法をまとめた記事の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。