大規模ビジュアル言語モデル (LVLM) は、モデルをスケーリングすることでパフォーマンスを向上させることができます。ただし、パラメーター サイズを増やすと、各トークンの計算によってすべてのモデル パラメーターがアクティブ化されるため、トレーニングと推論のコストが増加します。
北京大学、中山大学、その他の機関の研究者らは共同で、マルチモーダル学習とモデルのスパース性に関連するパフォーマンス低下の問題を解決するために、MoE-Tuning と呼ばれる新しいトレーニング戦略を提案しました。 MoE-Tuning は、驚くほど多くのパラメーターを持ちながら一定の計算コストを備えたスパース モデルを構築できます。さらに、研究者らは、MoE-LLaVA フレームワークと呼ばれる、MoE に基づく新しいスパース LVLM アーキテクチャも提案しました。このフレームワークでは、上位 k 個のエキスパートのみがルーティング アルゴリズムを通じてアクティブ化され、残りのエキスパートは非アクティブなままになります。このようにして、MoE-LLaVA フレームワークは、展開プロセス中にエキスパート ネットワークのリソースをより効率的に利用できます。これらの研究結果は、LVLM モデルのマルチモーダル学習とモデルのスパース性の課題を解決するための新しいソリューションを提供します。
論文アドレス: https://arxiv.org/abs/2401.15947
プロジェクト アドレス: https://github.com/PKU-YuanGroup/MoE-LLaVA
デモ アドレス: https://huggingface.co/spaces/LanguageBind/MoE-LLaVA
論文タイトル: MoE-LLaVA: 大規模ビジョン言語モデルの専門家の混合
##図 4 に示すように、 MoE-LLaVA はソフトルーターを備えた LVLM ベースの最初のスパースモデルであるため、この研究では以前のモデルをデンスモデルとして要約します。研究チームは、5つの画像質問と回答ベンチマークでMoE-LLaVAのパフォーマンスを検証し、アクティブ化されたパラメータの量と画像解像度を報告しました。 SOTA 方式 LLaVA-1.5 と比較して、MoE-LLaVA-2.7B×4 は強力な画像理解能力を示し、5 つのベンチマークにおけるパフォーマンスは LLaVA-1.5 に非常に近いです。このうち、MoE-LLaVA は 3.6B スパース活性化パラメータを使用し、SQAI で LLaVA-1.5-7B を 1.9% 上回っています。 MoE-LLaVA の疎な構造により、IDEFICS-80B を完全に超えるには 2.6B のアクティベーション パラメータのみが必要であることは注目に値します。
#図 5 幻覚物体検出における MoE-LLaVA の性能評価
#図 6 エキスパートによる負荷の視覚化
以上がマルチモーダル大型モデルが疎らで、3B モデル MoE-LLaVA は LLaVA-1.5-7B に匹敵しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

導入 迅速なエンジニアリングでは、「思考のグラフ」とは、グラフ理論を使用してAIの推論プロセスを構造化および導く新しいアプローチを指します。しばしば線形sを含む従来の方法とは異なります

導入 おめでとう!あなたは成功したビジネスを運営しています。ウェブページ、ソーシャルメディアキャンペーン、ウェビナー、会議、無料リソース、その他のソースを通じて、毎日5000の電子メールIDを収集します。次の明白なステップはです

導入 今日のペースの速いソフトウェア開発環境では、最適なアプリケーションパフォーマンスが重要です。応答時間、エラーレート、リソース利用などのリアルタイムメトリックを監視することで、メインに役立ちます

「ユーザーは何人いますか?」彼は突き出した。 「私たちが最後に言ったのは毎週5億人のアクティブであり、非常に急速に成長していると思います」とアルトマンは答えました。 「わずか数週間で2倍になったと言った」とアンダーソンは続けた。 「私はそのprivと言いました

導入 Mistralは、最初のマルチモーダルモデル、つまりPixtral-12B-2409をリリースしました。このモデルは、Mistralの120億個のパラメーターであるNemo 12bに基づいて構築されています。このモデルを際立たせるものは何ですか?これで、画像とTexの両方を採用できます

クエリに応答するだけでなく、情報を自律的に収集し、タスクを実行し、テキスト、画像、コードなどの複数のタイプのデータを処理するAIを搭載したアシスタントがいることを想像してください。未来的に聞こえますか?これでa

導入 金融業界は、効率的な取引と信用の可用性を促進することにより経済成長を促進するため、あらゆる国の発展の基礎となっています。取引の容易さとクレジット

導入 データは、ソーシャルメディア、金融取引、eコマースプラットフォームなどのソースから前例のないレートで生成されています。この連続的な情報ストリームを処理することは課題ですが、


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

Dreamweaver Mac版
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

SublimeText3 Linux 新バージョン
SublimeText3 Linux 最新バージョン

WebStorm Mac版
便利なJavaScript開発ツール

SecLists
SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。
