ホームページ > 記事 > テクノロジー周辺機器 > 小規模なプロフェッショナル モデルをすばやくトレーニング: たった 1 つのコマンド、5 ドル、20 分で Prompt2Model をお試しください。
大規模言語モデル (LLM) を使用すると、ユーザーはヒントと文脈学習を通じて強力な自然言語処理システムを構築できます。ただし、別の観点から見ると、LLM は一部の特定の自然言語処理タスクにおいて一定の退行を示しており、これらのモデルの展開には大量のコンピューティング リソースが必要であり、API を介してモデルと対話すると、潜在的なプライバシー問題が発生する可能性があります。 ##これらの問題に対処するために、カーネギー メロン大学 (CMU) と清華大学の研究者は共同で Prompt2Model フレームワークを立ち上げました。このフレームワークの目標は、LLM ベースのデータ生成および取得方法を組み合わせて、上記の課題を克服することです。 Prompt2Model フレームワークを使用すると、ユーザーは LLM と同じプロンプトを提供するだけで、データを自動的に収集し、特定のタスクに適した小さな特殊なモデルを効率的にトレーニングできます。自然言語処理サブタスク。彼らは少数のサンプル プロンプトを入力として使用し、データの収集と 20 分のトレーニングに費やした費用はわずか 5 ドルでした。 Prompt2Model フレームワークを通じて生成されたモデルのパフォーマンスは、強力な LLM モデル gpt-3.5-turbo のパフォーマンスより 20% 高くなります。同時に、モデルのサイズは 700 分の 1 に縮小されました。研究者らはさらに、現実のシナリオにおけるモデルのパフォーマンスに対するこれらのデータの影響を検証し、モデル開発者が展開前にモデルの信頼性を推定できるようにしました。フレームワークはオープン ソース形式で提供されています:
## フレームワークの GitHub リポジトリ アドレス: https :/ /github.com/neulab/prompt2model
フレームワークのデモビデオリンク: youtu.be/LYYQ_EhGd-Q
Prompt2Model フレームワークは、次の主要な手順を自動的に実行します。 1. データの前処理: 入力データをクリーンにして標準化し、モデルのトレーニングに適していることを確認します。 2. モデルの選択: タスクの要件に従って、適切なモデル アーキテクチャとパラメータを選択します。 3. モデルのトレーニング: 前処理されたデータを使用して選択したモデルをトレーニングし、モデルのパフォーマンスを最適化します。 4. モデル評価: 特定のタスクでのパフォーマンスを決定するための評価指標によるトレーニング済みモデルのパフォーマンス評価。 5. モデルのチューニング: 評価結果に基づいてモデルをチューニングし、パフォーマンスをさらに向上させます。 6. モデルのデプロイメント: トレーニングされたモデルを実際のアプリケーション環境にデプロイして、予測または推論機能を実現します。 これらのコアステップを自動化することで、Prompt2Model フレームワークは、ユーザーが高性能の自然言語処理モデルを迅速に構築して展開できるように支援します
データセットとモデルの取得: 関連するデータセットを収集し、事前トレーニングします。モデル。
データセットの生成: LLM を使用して、擬似ラベル付きデータセットを作成します。
モデルの微調整: 取得したデータと生成されたデータを混合してモデルを微調整します。
Prompt2Model フレームワークの中核機能は、高度な自動化です。上の図に示すように、そのプロセスにはデータ収集、モデルのトレーニング、評価、展開が含まれます。中でも自動データ収集システムは、データセットの検索とLLMベースのデータ生成を通じてユーザーのニーズに密接に関連したデータを取得することで重要な役割を果たします。次に、事前トレーニングされたモデルが取得され、取得されたデータセットで微調整されます。最後に、トレーニングされたモデルがテスト セットで評価され、モデルと対話するための Web ユーザー インターフェイス (UI) が作成されます。
Prompt2Model フレームワークの主な機能は次のとおりです。
Prompt2Model フレームワークには次の機能があり、自然言語処理システムの構築プロセスを効率的に完了し、データの自動収集、モデルの評価とユーザー インタラクション インターフェイスの作成
Prompt2Model システムのパフォーマンスを評価するために、実験では
さらに、研究者らは、比較のためのベースライン モデルとして GPT-3.5-turbo も使用しました。実験結果から次の結論が導き出されます:
生成されたデータセットの品質が低いことと、適切な事前トレーニング済みモデルがないことが原因である可能性があります
包括的一般に、Prompt2Model システムは複数のタスクで高品質の小さなモデルを正常に生成し、データに手動で注釈を付ける必要性を大幅に減らします。ただし、一部のタスクではまださらなる改善が必要です
Prompt2Model フレームワークは、自然言語プロンプトを通じてタスク固有のモデルを自動的に構築する、研究チームによって開発された革新的なテクノロジーです。このテクノロジーの導入により、カスタマイズされた自然言語処理モデルの構築の難しさが大幅に軽減され、NLP テクノロジーの適用範囲がさらに拡大されます
検証実験の結果は、Prompt2Model フレームワークによって生成されたモデルのサイズが、より大きな言語モデルと比較して大幅に削減され、複数のタスクにおいて GPT-3.5-turbo や他のモデルよりも優れたパフォーマンスを発揮することを示しています。同時に、このフレームワークによって生成された評価データ セットは、実際のデータ セットでのさまざまなモデルのパフォーマンスを評価するのに効果的であることも証明されています。これは、モデルの最終的な展開をガイドする上で重要な価値を提供します。
Prompt2Model フレームワークは、次の条件を満たす NLP モデルを取得するための低コストで使いやすい方法を業界とユーザーに提供します。特定のニーズ。これは、NLP テクノロジーの普及を促進する上で非常に重要です。今後の作業は、フレームワークのパフォーマンスをさらに最適化することに引き続き注力されます
記事の順序では、この記事の著者は次のとおりです。 書き直された内容: 記事の順序によると、この記事の著者は次のとおりです:
Vijay Viswanathan: http://www.cs.cmu.edu/~ vijayv/
チャオ・チェンヤン: https://zhaochenyang20.github.io/Eren_Chenyang_Zhao/
アマンダ・バーチュ: https://www.cs 。 cmu.edu/~abertsch/ アマンダ・ベルシュ: https://www.cs.cmu.edu/~abertsch/
ウー・トンシュアン: https://www.cs.cmu.edu/~sherryw/
グラハム・ニュービッグ: http://www.phontron.com/
以上が小規模なプロフェッショナル モデルをすばやくトレーニング: たった 1 つのコマンド、5 ドル、20 分で Prompt2Model をお試しください。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。