ビジョントランスフォーマー（VIT）モデルの動作原理と特性の詳細な分析

Vision Transformer (VIT) は、Google が提案した Transformer ベースの画像分類モデルです。従来の CNN モデルとは異なり、VIT は画像をシーケンスとして表し、画像のクラス ラベルを予測することで画像の構造を学習します。これを実現するために、VIT は入力イメージを複数のパッチに分割し、チャネルを通じて各パッチのピクセルを連結し、線形投影を実行して目的の入力寸法を実現します。最後に、各パッチが単一のベクトルに平坦化され、入力シーケンスが形成されます。 Transformer のセルフ アテンション メカニズムを通じて、VIT は異なるパッチ間の関係を捕捉し、効果的な特徴抽出と分類予測を実行できます。このシリアル化された画像表現方法は、コンピューター ビジョンのタスクに新しいアイデアと効果をもたらします。

Vision Transformer モデルは、物体検出、画像セグメンテーション、画像分類、アクション認識などの画像認識タスクで広く使用されています。さらに、視覚的な基礎、視覚的な質問応答、視覚的な推論など、生成モデリングやマルチモデルのタスクにも適しています。

Vision Transformer はどのように画像を分類しますか?

ビジョン トランスフォーマーの仕組みを詳しく説明する前に、オリジナルのトランスフォーマーにおける注意とマルチヘッド アテンションの基本を理解する必要があります。

Transformer は、CNN でも LSTM でもないセルフアテンションと呼ばれる仕組みを利用したモデルであり、これらの手法を大幅に上回る Transformer モデルを構築します。

Transformer モデルのアテンション メカニズムでは、Q (クエリ)、K (キー)、V (値) の 3 つの変数を使用します。簡単に言うと、クエリ トークンとキー トークンの注意の重みを計算し、各キーに関連付けられた値を乗算します。つまり、Transformer モデルは、Query トークンと Key トークンの間の関連付け (注目の重み) を計算し、各 Key に関連付けられた Value を乗算します。

単一のヘッドとして計算される Q、K、V を定義します。マルチヘッド アテンション メカニズムでは、各ヘッドは独自の射影行列 W_i^Q、W_i^K、W_i を持ちます。 ^V、これらの行列によって投影された特徴値を使用して、それぞれ注意の重みを計算します。

マルチヘッド アテンション メカニズムにより、毎回異なる方法でシーケンスの異なる部分に焦点を当てることができます。これは、次のことを意味します。

各ヘッドが入力の異なる部分に焦点を当てるため、モデルは位置情報をより適切にキャプチャできます。それらを組み合わせることで、より強力な表現が可能になります。

各ヘッダーは、一意に関連付けられた単語を通じてさまざまなコンテキスト情報も取得します。

Transformer モデルの動作メカニズムがわかったところで、Vision Transformer モデルを振り返ってみましょう。

Vision Transformer は、Transformer を画像分類タスクに適用するモデルで、2020 年 10 月に提案されました。モデル アーキテクチャはオリジナルの Transformer とほぼ同じであり、自然言語処理と同じように画像を入力として扱うことができます。

Vision Transformer モデルは、Transformer Encoder をベース モデルとして使用して画像から特徴を抽出し、これらの処理された特徴を分類のために多層パーセプトロン (MLP) ヘッド モデルに渡します。基本モデル Transformer の計算負荷は既に非常に大きいため、Vision Transformer はそのような問題を解決する軽量の「ウィンドウ」アテンション メカニズムとして画像を正方形のブロックに分解します。

画像は正方形のパッチに変換され、平坦化されて単一のフィードフォワード層を介して送信され、線形パッチ投影が取得されます。学習可能なクラスの埋め込みを他のパッチ投影と連結することで、ビットの分類を支援します。

要約すると、これらのパッチ投影と位置埋め込みは、Transformer エンコーダーを迅速に通過するより大きな行列を形成します。 Transformer エンコーダーの出力は、画像分類のために多層パーセプトロンに送信されます。入力特徴は画像の本質を非常によく捉えているため、MLP ヘッドの分類タスクがはるかに簡単になります。

ViT、ResNet、MobileNet のパフォーマンス ベンチマーク比較

ViT は高品質の画像特徴の学習において優れた可能性を示しますが、それはさらに悪いですパフォーマンスと精度の向上という点で。精度のわずかな向上は、ViT のランタイムの劣りを正当化するものではありません。

Vision Transformer モデル関連

• 微調整コードと事前トレーニングされた Vision Transformer モデルは、Google Research の GitHub で入手できます。 。
• Vision Transformer モデルは、ImageNet および ImageNet-21k データセットで事前トレーニングされています。
• ビジョン トランスフォーマー (ViT) モデルは、ICLR 2021 で発表された「An Image is Worth 16*16 Words: Transformers for Image Recognition at Scale」というタイトルの会議研究論文で紹介されました。

以上がビジョントランスフォーマー（VIT）モデルの動作原理と特性の詳細な分析の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。