モジュラーMoEは視覚的なマルチタスク学習の基本モデルとなる

マルチタスク学習 (MTL) には、異なるタスク間の勾配が矛盾する可能性があるため、多くの課題があります。タスク間の相関関係を利用するために、著者らは、複数の専門家で構成されるモジュール型モデルである Mod-Squad モデルを導入します。このモデルは、タスクと専門家のマッチングを柔軟に最適化し、タスクに対して一部の専門家を選択できます。このモデルでは、各エキスパートがタスクの一部のみに対応し、各タスクがエキスパートの一部のみに対応するため、タスク間のポジティブなつながりを最大限に活用できます。 Mod-Squad は、Mixture of Experts (MoE) レイヤーを Vision Transformer モデルに統合し、エキスパートとタスク間の疎だが強力な依存関係を促進する新しい損失関数を導入します。さらに、各タスクについて、モデルはエキスパート ネットワークのごく一部のみを保持し、元の大規模モデルと同じパフォーマンスを達成できます。このモデルは、13 のビジョン タスクの Taskonomy ビッグ データ セットと PASCALContext データ セットで最高の結果を達成しました。

文書アドレス: https://arxiv.org/abs/2212.08066

プロジェクト アドレス: https://vis-www.cs.umass.edu/mod-squad/

#Github アドレス: https: / /github.com/UMass-Foundation-Model/Mod-Squad

マルチタスク学習 (MTL) の目的は、タスク間の関係をモデル化することです。複数のタスクに対応する統合モデルを構築します。図 1 に示すように、Mod-Squad の主な目的は、エキスパートをすべてのタスクではなく一部のタスクによってのみ更新できるようにすることであり、エキスパートの一部だけが各タスクによって更新されるようにすることです。これにより、タスク間の干渉を回避しながら、モデルの能力を最大限に活用することができます。

図 1. Mod-Squad: 専門家とタスクがお互いを選択します。 MoE ViT: すべてのスペシャリストがすべてのタスクで使用されます。

以下はこの記事の簡単な紹介です。

モデル構造

図 2. Mod-Squad: 専門家グループ (専門家の混合) の挿入Vision Transformer へ。

図 2 に示すように、Mod-Squad の構造は、Vision Transformer (ViT) に Mixture-of-expert (MoE) を導入することです。 MoE は、複数の専門家がハイブリッド モデルを形成する機械学習モデルです。各エキスパートは独立したモデルであり、各モデルは異なる入力に対して異なる形で寄与します。最後に、すべての専門家の貢献が重み付けされて結合され、最終的な出力が得られます。このアプローチの利点は、入力画像の内容に基づいて最適なエキスパートを動的に選択し、計算量を制御できることです。

前の MoE モデルが収束した後、さまざまな状況に応じてさまざまなエキスパートを使用できますが、特定のタスクでは、モデルはすべてのエキスパートを使用する傾向に収束します。 Mod-Squad を使用すると、モデルは画像に対してさまざまなエキスパートを使用でき、収束後、モデルはタスクに一部のエキスパートのみが使用される状態に到達できます。次に、これをどのように実現するかを紹介します。

エキスパートとタスク間の相互情報を最大化する

この論文では、エキスパート E とタスク T の間の割り当てを最適化するための、タスクとエキスパートの同時確率モデルを提案します。この確率モデルは、エキスパートとタスク間の相互情報を計算するために使用され、MoE の重みネットワークを最適化するための追加の損失関数として機能します。相互情報量の式は次のとおりです. E と T の確率は MoE の重みネットワークから求めることができます. 詳細については論文を参照してください.

タスクとエキスパートの間の相互情報を最大化した後、モデルはエキスパートとタスクが疎で非常に密接な情報を持つことを可能にします。図 3 に示すように、強い依存関係があります。一番左にあるのは、Mod-Squad タスクの使用エキスパートの頻度です。ご覧のとおり、Mod-Squad ではミッションとスペシャリストの間の頻度がまばらですが、より鋭くなっています。

図 3. さまざまな専門家を使用したタスクの頻度プロットの比較。横軸はさまざまな専門家を表し、縦軸はさまざまなタスクを表し、濃い色は使用頻度が高いことを表します。 Mod-Squad の周波数プロットはまばらで鮮明です。

このタスクとエキスパートの間の疎で非常に強い依存関係の利点は次のとおりです:

1. 同様のタスクでは、同じエキスパート;

#2. エキスパートは、積極的に関連するタスクのグループによって使用される傾向があります;

#3. モデルの能力

#4. 小規模な単一タスク モデルを抽出できます。特定のタスクの大規模なマルチタスク モデルから、より大きなモデルと同じパフォーマンスを持ちます。この機能を使用すると、非常にマルチタスク モデルから小規模なシングルタスク モデルを抽出できます。

次の図に示すように、モデルはタスク間でエキスパートを共有する頻度に基づいて、タスク間の類似性を計算することもできます。 3D に偏ったタスクは同じ専門家を使用する傾向があるため、より類似していることがわかります。

実験部分

Mod-Squad は、精度を失うことなく単一のタスクをプルーニングできます。図の縦軸以下は性能、横軸はパラメータ量です。

大規模なデータセット Taskonomy でも大幅な改善が見られ、Mod-Squad が平均して高いことがわかります。純粋な MTL よりも 2.8 ポイント高く、枝刈り後も同じパフォーマンスを維持します。

PASCAL-Context の他の手法と比較すると、Mod-Squad は他の MoE 手法より平均で 2 ポイント近く高いです。

#具体的な詳細については、原文を参照してください。

###

以上がモジュラーMoEは視覚的なマルチタスク学習の基本モデルとなるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。