Kuaishou は、エージェント システム、モデル、データをオープンソースにしました。

7B サイズのモデルも AI エージェントで遊ぶことができますか?最近、Kuaishou は「KwaiAgents」をオープンソース化しました。週末のスキーについて質問すると、会場を見つけるだけでなく、その日の天気も考慮してくれるでしょう。

ご存知のとおり、大規模言語モデル (LLM) は言語モデリングを通じて大量の知識を習得し、一定の認識能力と推論能力を備えています。ただし、現在最も強力な GPT-4 でさえ、単独で使用すると偽のコンテンツを生成し、リアルタイムで世界と対話することはできません。 AI エージェントは、この問題を解決する 1 つの方法です。タスクを計画し、反映し、ツールを呼び出す大規模モデルの機能を刺激することで、大規模モデルは現実世界のツールを使用して、生成されたコンテンツの精度を向上させ、さらには複雑な問題を解決する機能も備えることができます。問題。今回、Kuaishouとハルビン工業大学が共同開発した「KwaiAgents」により、7B/13Bの「小型」大型モデルでもGPT-3.5の効果を超えることが可能となり、これらのシステム、モデル、データ、評価はすべてオープンソースです！

• 技術レポート: https: / /arxiv.org/abs/2312.04889
• プロジェクトのホームページ: https://github.com/KwaiKEG/KwaiAgents

次のコンテンツは、「KwaiAgents」の Github ホームページで見つけることができます。

# システム (KAgentSys-Lite): 軽量 AI エージェント システム 、事実に基づいたタイムリーなツールセットを備えています;
モデル (KAgentLMs): メタエージェント調整後の、エージェントの一般的な機能とそのトレーニング データを備えた一連の大規模なモデル
評価 (KAgentBench): すぐに使用できるエージェント機能の自動評価ベンチマークと手動評価の結果。

#システム

KAgentSys システムの主要コンポーネント反復的な自動化を実現するための大規模モデルに基づくコグニティブ コア、メモリ メカニズム、ツール ライブラリが含まれます。

メモリ メカニズム: ナレッジ ベース、ダイアログ、タスクの 3 種類のメモリを含みます。ハイブリッドベクトル検索、キーワード検索などの検索フレームワークに基づいて、各計画パスで必要な情報を検索できます。

1. ツールセット: ファクト強化ツールセットが含まれています。異種検索および閲覧メカニズムにより、Web ページ、テキスト百科事典、ビデオ百科事典 (カレンダー、フェスティバルなど) などの複数のソースからの知識をまとめることができます。 , 時差や天気などの一般的な適時性強化ツールセット。
2. 自動ループ: 一連のダイアログで、ユーザーには質問、オプションの知識ベース、入力用の追加ペルソナが与えられます。システムはまずメモリを更新して取得し、次にタスク計画のために大規模モデルを呼び出します。ツールを呼び出す必要がある場合は呼び出します。そうでない場合は、概要ステージに入ります。大規模モデルは履歴情報を統合し、期待を満たす答えを返します。
KAgentSys の一部の機能は段階的にアップグレードされ、公開されます。これがこのオープン ソースの内容です。

モデル

トレーニング中に単一のテンプレートによって引き起こされる過剰適合の問題を回避するために、チームは、より多くのエージェント プロンプト テンプレートを導入することで大規模なモデルのパフォーマンスを向上させるメタ エージェント チューニング (MAT) 手法を提案しました。エージェント機能の多用途性と効果の向上。

メタエージェント チューニング (MAT) は 2 つの段階に分かれています:

1. テンプレート生成段階: メタエージェントを設計することにより、特定の問題セットに対してインスタンス化されたエージェント プロンプト テンプレート (右の図は例) の候補が生成され、同じ実験環境で、テンプレートによって生成された候補結果は、スコアリング モデルを使用してオープン ソース テンプレート (ReAct、AutoGPT など) によって生成された信頼性の高い結果と比較され、高品質のエージェント プロンプト テンプレート ライブラリが選択されます。これらの多様なテンプレートを導入することで、モデルの微調整におけるテンプレートへの依存度が大幅に削減され、タスクの計画、ツールの使用、反映などのより本質的なエージェントの能力が洗練され、モデルの汎用性と有効性が向上します。 。
2. 命令微調整段階: 数万のテンプレートに基づいて、200,000 を超えるエージェント調整命令微調整データが構築されました。チームは、Qwen-7B、Baichuan2-13B などのいくつかの人気のオープンソース モデルを、誰もが使用および参照できるように調整しており、他の人気のあるモデルも将来リリースされる予定です。

評価

KAgentBench は、手動で注釈が付けられた何千ものデータを使用して、すぐに使用できるようにし、誰でも使用できるようにします。 1 行のコマンドを使用して、さまざまなテンプレートの下でさまざまな側面から大規模モデルのエージェント機能を評価します。

KAgentBench では、上の図に示すように、さまざまなタイプの能力の構成要素を入力します。各クエリには、複数のテンプレートと、人間が編集した複数の実際の回答が付属しています。正確性と一般性を総合的に評価することが目的です。 MAT チューニング後の次の表は、さまざまな機能における 7B-13B モデルの改善を示しており、GPT-3.5

の効果を超えています。この研究では、人間のアノテーターを招いて、「アンディ・ラウは今年何歳ですか?」など、事実に基づいた時間に敏感な質問 200 件に注釈を付けてもらう相互評価も実施しました。結果は、KAgentSys システムと MAT を適用した後のモデルが大幅に改善されたことを示しています (精度はパーセンテージで表され、5 段階評価の平均スコアは括弧内にあります)

#一部のロングテールの質問や人気のある質問では、通常、Web 検索のみに依存する結果は理想的ではありません。たとえば、「アントネッラはメッシより何日年上ですか?」のようなロングテールの質問をすると、検索結果には通常、重要な情報は提供されずに、メッシに関する噂話が表示されます。 KAgentSys は、百科事典検索ツールを呼び出して正確な生年月日を取得し、時差ツールを使用して年齢差を計算することで、この質問に正確に答えることができます。

チームは、AI が次のように述べています。エージェントは、非常に有望なテクノロジーの道です。今後もコア技術を蓄積し、地域社会全体に新たな活力を注入し続けます。同時に、エージェントテクノロジーとKuaishouビジネスの組み合わせも積極的に検討し、より興味深く価値のある革新的なアプリケーションの実装を試みます

以上がKuaishou は、エージェント システム、モデル、データをオープンソースにしました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。