清華マイクロソフトは、新しいプロンプトワード圧縮ツールをオープンソース化し、長さが 80% 削減されました。 GitHub が 3.1,000 個のスターを獲得
自然言語処理では、実際には多くの情報が繰り返されます。
プロンプトの単語を効果的に圧縮できれば、モデルがサポートするコンテキストの長さをある程度拡張することと同じになります。
既存の情報エントロピー手法は、特定の単語や語句を削除することでこの冗長性を削減します。
しかし、情報エントロピーに基づく計算は、テキストの一方向のコンテキストのみをカバーしており、圧縮に必要な重要な情報が無視される可能性があり、また、情報エントロピーの計算方法は完全ではありません。圧縮のヒントと一致するのは、単語の実際の目的です。
これらの課題に対処するために、清華大学の研究者とマイクロソフトは共同で、LLMLingua-2 と呼ばれる新しいデータ処理プロセスを提案しました。大規模言語モデル (LLM) から知識を抽出し、重要な情報が失われないようにしながらプロンプトの単語を圧縮することで情報の洗練を実現することを目的としています。
このプロジェクトは GitHub で 3.1,000 個のスターを獲得しました
結果は、LLMLingua-2 が次のことを実行できることを示しています。テキストの長さが元の 20% に大幅に削減され、処理時間とコストが効果的に削減されます。
さらに、LLMLingua 2 の処理速度は、以前のバージョンの LLMLingua や他の同様のテクノロジーと比較して 3 ~ 6 倍向上しています。
論文アドレス: https://arxiv.org/abs/2403.12968
このプロセス内、生のテキストが最初にモデルに入力されます。
モデルは、各単語の重要性を評価し、単語間の関係も考慮しながら、それを保持するか削除するかを決定します。
最後に、モデルは最も高いスコアを持つ単語を選択して、より短いプロンプト単語を形成します。
チームは、MeetingBank、LongBench、ZeroScrolls、GSM8K、BBH を含む複数のデータセットで LLMLingua-2 モデルをテストしました。
このモデルは小規模ですが、ベンチマーク テストで大幅なパフォーマンスの向上を達成し、さまざまな大規模な言語モデル (GPT-3.5 から Mistral-7B まで) でパフォーマンスを実証します。言語間での優れた汎化能力(英語から中国語へ)。
システム プロンプト:
優れた言語学者として、あなたは、長い要約段落を変換するのが得意です。可能な限り多くの情報を保持しながら、重要でない単語を削除してテキストを簡潔な表現にします。
ユーザーヒント:
指定されたテキストを短い形式に圧縮してください(GPT-4) 元のテキストをできるだけ正確に復元できるようにする式です。通常のテキスト圧縮とは異なり、次の 5 つの条件に従う必要があります:
1. 重要でない単語のみを削除します。
2. 元の単語の順序は変更しません。
3. 元の語彙を変更しないでください。
4. 略語や絵文字は使用しないでください。
5. 新しい単語や記号を追加しないでください。
できるだけ多くの情報を保持しながら、元のテキストを可能な限り圧縮してください。理解できましたら、次のテキストを圧縮してください: {圧縮するテキスト}
圧縮されたテキストは次のとおりです: [...]
結果は、LLMLingua-2 が、質疑応答、要約作成、論理的推論などの複数言語タスクにおいて、元の LLMLingua モデルやその他の選択的コンテキスト戦略よりも大幅に優れていることを示しています。
この圧縮方法は、さまざまな大規模言語モデル (GPT-3.5 から Mistral-7B まで) やさまざまな言語 (英語から中国語まで) に対しても同様に効果的であることは言及する価値があります。
さらに、LLMLingua-2 のデプロイメントは、わずか 2 行のコードで実現できます。
現在、このモデルは広く使用されている RAG フレームワーク LangChain と LlamaIndex に統合されています。
実装方法
既存の情報エントロピーベースのテキスト圧縮方法が直面する問題を克服するために、LLMLingua-2 は革新的なデータを採用しています。抽出戦略。
この戦略は、GPT-4 などの大規模な言語モデルから重要な情報を抽出し、重要なコンテンツを失うことなく効率的なテキスト編集を実現し、誤った情報の追加を回避します。
プロンプト デザイン
GPT-4 のテキスト圧縮の可能性を最大限に活用するには、鍵となるのは次の方法です。正確な圧縮命令を設定します。
つまり、テキストを圧縮するときに、元のテキストでそれほど重要ではない単語のみを削除し、その過程で新しい単語が導入されるのを避けるように GPT-4 に指示します。
これの目的は、圧縮されたテキストが元のテキストの信頼性と完全性を可能な限り維持することです。
##注釈とフィルタリング
研究者は GPT-4 を使用しました。大規模な言語モデルから抽出された知識に基づいて、新しいデータ注釈アルゴリズムが開発されました。
このアルゴリズムは、元のテキスト内の各単語をマークし、圧縮プロセス中にどの単語を保持する必要があるかを明確に示すことができます。
構築されたデータセットの高品質を確保するために、品質の低いデータサンプルを特定して除外するための 2 つの品質監視メカニズムも設計しました。
コンプレッサー
研究者たちはついにテキスト圧縮の問題を解決しました。これは各単語 (トークン) を分類するタスクに変換され、強力な Transformer が特徴抽出器として使用されます。
このツールは、テキストのコンテキストを理解して、テキスト圧縮に重要な情報を正確に取得できます。
研究者のモデルは、注意深く構築されたデータセットでトレーニングすることにより、単語をその重要性に基づいて保持すべきかどうかを決定するための確率値を計算することができます。 、それでも破棄する必要があります。
パフォーマンス評価
研究者らは、さまざまなタスクで LLMLingua-2 のパフォーマンスをテストしました。これらのタスクには、コンテキスト学習、テキスト要約、ダイアログ生成、複数および単一ドキュメントの質問応答、コード生成、およびドメイン内データセットとドメイン外データセットの両方を含む合成タスクが含まれます。
テスト結果は、研究者の方法が高いパフォーマンスを維持しながらパフォーマンスの損失を最小限に抑え、タスクに特化しないテキスト圧縮方法の中で優れたパフォーマンスを発揮することを示しています。
- ドメイン内テスト (MeetingBank)
研究者らは、MeetingBank での LLMLingua-2 のパフォーマンスを比較しました。テスト セットと他の強力なベースライン方法が比較されます。
モデルのサイズはベースラインで使用された LLaMa-2-7B よりもはるかに小さいですが、研究者の手法は質問応答やテキスト要約タスクのパフォーマンスを大幅に向上させただけでなく、元のテキスト プロンプトも同様に実行されました。
-ドメイン外テスト (LongBench、GSM8K、BBH)
研究者のモデルが MeetingBank の会議記録データでのみトレーニングされたことを考慮して、研究者らは、長文テキスト、論理的推論、文脈学習などのさまざまなシナリオでその一般化機能をさらに調査しました。
LLMLingua-2 は 1 つのデータセットでのみトレーニングされましたが、ドメイン外テストでは、そのパフォーマンスが現在の状態に匹敵するだけでなく、 -art タスク独立圧縮 これらの方法は同等ですが、場合によってはさらに優れています。
研究者のより小さなモデル (BERT ベースのサイズ) であっても、元のヒントと同等のパフォーマンスを達成することができました。場合によっては、それよりも劣ったり、場合によっては、元の先端の少し上にあります。
研究者のアプローチは有望な結果を達成しましたが、Longbench の LongLLMlingua などの他のタスク認識圧縮方法と比較すると、まだ欠点があります。
研究者らは、このパフォーマンスのギャップは質問から得られる追加情報のせいだと考えています。ただし、研究者のモデルはタスクに依存しないため、さまざまなシナリオに導入した場合に汎用性が高く、効率的なオプションとなります。
上記の表 4 は、ターゲット LLM として Mistral-7Bv0.1 4 を使用したさまざまな方法の結果を示しています。
他のベースライン手法と比較して、研究者の手法はパフォーマンスが大幅に向上しており、ターゲット LLM に対する優れた一般化能力を示しています。
LLMLingua-2 のパフォーマンスが元のプロンプトよりもさらに優れていることは注目に値します。
研究者らは、Mistral-7B は GPT-3.5-Turbo ほど長いコンテキストの管理が得意ではないのではないかと推測しています。
研究者のアプローチは、より高い情報密度で短いヒントを提供することで、Mistral7B の最終推論パフォーマンスを効果的に向上させます。
上の表 5 は、さまざまな圧縮率を使用した V100-32G GPU 上のさまざまなシステムのレイテンシを示しています。
結果は、他の圧縮方法と比較して、LLMLlingua2 は計算オーバーヘッドがはるかに少なく、エンドツーエンドの速度が 1.6 倍から 2.9 倍向上できることを示しています。
さらに、研究者の手法では GPU メモリのコストを 8 分の 1 に削減できるため、ハードウェア リソースの需要も削減できます。
コンテキスト認識観察研究者らは、圧縮率が増加するにつれて、LLMLingua-2 が完全なコンテキストを備えた最も有益な単語を効果的に維持できることを観察しました。
これは、双方向のコンテキスト認識型特徴抽出機能と、タイムリーな圧縮という目標に向けて明示的に最適化された戦略の採用によるものです。
研究者らは、圧縮率が増加するにつれて、LLMLingua-2 が完全なコンテキストに関連する最も有益な単語を効果的に維持できることを観察しました。
これは、双方向のコンテキスト認識型特徴抽出機能と、タイムリーな圧縮という目標に向けて明示的に最適化された戦略の採用によるものです。
最後に、研究者らは GPT-4 に LLMLlingua-2 圧縮プロンプトからの元のトーンを再構築させました。
結果は、GPT-4 が元のチップを効果的に再構築できることを示しており、LLMLingua-2 圧縮中に重要な情報が失われていないことを示しています。
以上が清華マイクロソフトは、新しいプロンプトワード圧縮ツールをオープンソース化し、長さが 80% 削減されました。 GitHub が 3.1,000 個のスターを獲得の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

科学者は、彼らの機能を理解するために、人間とより単純なニューラルネットワーク(C. elegansのものと同様)を広く研究してきました。 ただし、重要な疑問が生じます。新しいAIと一緒に効果的に作業するために独自のニューラルネットワークをどのように適応させるのか

GoogleのGemini Advanced:Horizonの新しいサブスクリプションティア 現在、Gemini Advancedにアクセスするには、1か月あたり19.99ドルのGoogle One AIプレミアムプランが必要です。 ただし、Android Authorityのレポートは、今後の変更を示唆しています。 最新のGoogle p

高度なAI機能を取り巻く誇大宣伝にもかかわらず、エンタープライズAIの展開内に大きな課題が潜んでいます:データ処理ボトルネック。 CEOがAIの進歩を祝う間、エンジニアはクエリの遅い時間、過負荷のパイプライン、

ドキュメントの取り扱いは、AIプロジェクトでファイルを開くだけでなく、カオスを明確に変えることです。 PDF、PowerPoint、Wordなどのドキュメントは、あらゆる形状とサイズでワークフローをフラッシュします。構造化された取得

Googleのエージェント開発キット(ADK)のパワーを活用して、実際の機能を備えたインテリジェントエージェントを作成します。このチュートリアルは、ADKを使用して会話エージェントを構築し、GeminiやGPTなどのさまざまな言語モデルをサポートすることをガイドします。 w

まとめ: Small Language Model(SLM)は、効率のために設計されています。それらは、リソース不足、リアルタイム、プライバシーに敏感な環境の大手言語モデル(LLM)よりも優れています。 特にドメインの特異性、制御可能性、解釈可能性が一般的な知識や創造性よりも重要である場合、フォーカスベースのタスクに最適です。 SLMはLLMSの代替品ではありませんが、精度、速度、費用対効果が重要な場合に理想的です。 テクノロジーは、より少ないリソースでより多くを達成するのに役立ちます。それは常にドライバーではなく、プロモーターでした。蒸気エンジンの時代からインターネットバブル時代まで、テクノロジーの力は、問題の解決に役立つ範囲にあります。人工知能(AI)および最近では生成AIも例外ではありません

コンピュータービジョンのためのGoogleGeminiの力を活用:包括的なガイド 大手AIチャットボットであるGoogle Geminiは、その機能を会話を超えて拡張して、強力なコンピュータービジョン機能を網羅しています。 このガイドの利用方法については、

2025年のAIランドスケープは、GoogleのGemini 2.0 FlashとOpenaiのO4-Miniの到着とともに感動的です。 数週間離れたこれらの最先端のモデルは、同等の高度な機能と印象的なベンチマークスコアを誇っています。この詳細な比較


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

人気の記事

ホットツール

VSCode Windows 64 ビットのダウンロード
Microsoft によって発売された無料で強力な IDE エディター

SublimeText3 Linux 新バージョン
SublimeText3 Linux 最新バージョン

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

mPDF
mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

ホットトピック









