数十年にわたる基礎研究を経て、視覚認識の分野は大規模な視覚表現学習の新時代を迎えました。事前トレーニングされた大規模ビジョン モデルは、特徴学習およびビジョン アプリケーションにとって不可欠なツールとなっています。視覚表現学習システムのパフォーマンスは、モデルのニューラル ネットワーク アーキテクチャ、ネットワークのトレーニングに使用される方法、トレーニング データという 3 つの主な要素によって大きく影響されます。各要素の改善は、モデル全体のパフォーマンスの向上に貢献します。
ニューラル ネットワーク アーキテクチャ設計の革新は、表現学習の分野で常に重要な役割を果たしてきました。畳み込みニューラル ネットワーク アーキテクチャ (ConvNet) は、コンピューター ビジョンの研究に大きな影響を与え、手動で実装された特徴量エンジニアリングに依存せずに、さまざまな視覚認識タスクで汎用的な特徴量学習手法を使用できるようにしました。もともと自然言語処理のために開発されたトランスフォーマー アーキテクチャは、近年、さまざまなサイズのモデルやデータセットに適しているため、他の深層学習分野でも広く使用されるようになりました。
ConvNeXt アーキテクチャの出現により、従来の ConvNet が最新化され、純粋な畳み込みモデルがモデルやデータセット サイズの変化にも適応できることが証明されました。ただし、ニューラル ネットワーク アーキテクチャの設計空間を探索する最も一般的な方法は、依然として ImageNet で教師あり学習のパフォーマンスをベンチマークすることです。
別の考え方は、視覚表現学習の焦点をラベル付き教師あり学習から自己教師あり事前トレーニングに移すことです。自己教師ありアルゴリズムは、マスクされた言語モデリングを視覚領域に導入し、すぐに視覚表現学習の一般的な方法になりました。ただし、自己教師あり学習では通常、教師あり学習用に設計されたアーキテクチャが使用され、そのアーキテクチャが固定されていることが前提となります。たとえば、Masked Autoencoder (MAE) はビジュアル トランスフォーマー アーキテクチャを使用します。
これらのアーキテクチャを自己教師あり学習フレームワークと組み合わせることが 1 つのアプローチですが、これにはいくつかの特有の問題が発生します。たとえば、ConvNeXt と MAE を組み合わせると、次の問題が発生します。MAE には、トランスフォーマーのシーケンス処理能力に最適化された特定のエンコーダー/デコーダー設計があり、これにより、計算集約型のエンコーダーが目に見えるパッチに集中するため、事前トレーニングが削減されます。費用がかかります。ただし、この設計は、高密度のスライディング ウィンドウを使用する標準の ConvNet と互換性がない可能性があります。さらに、アーキテクチャとトレーニング目標の関係を考慮しなければ、最適なパフォーマンスを達成できるかどうかは不明確です。実際、既存の研究では、マスクベースの自己教師あり学習で ConvNet をトレーニングするのは難しいことが示されており、実験証拠では、Transformer と ConvNet が特徴学習において分岐する可能性があり、それが最終的な表現の品質に影響を与える可能性があることが示されています。
この目的を達成するために、KAIST、Meta、およびニューヨーク大学の研究者 (ConvNeXt の最初の著者である Liu Zhuang と ResNeXt の最初の著者である Xie Saining を含む) が共同でネットワークを設計することを提案しました。同じフレームワークの下でのアーキテクチャとマスクされた自動エンコーディング。この目的は、マスクベースの自己教師あり学習を ConvNeXt モデルに適用して、トランスフォーマーと同等の結果を取得できるようにすることです。
論文アドレス: https://arxiv.org/pdf/2301.00808v1.pdf
マスクされたオートエンコーダを設計する際、この研究ではマスク付きの入力をスパースパッチのセットとして扱い、スパースコンボリューションを使用して目に見える部分を処理します。このアイデアは、大規模な 3D 点群を処理する際のスパース コンボリューションの使用からインスピレーションを受けました。具体的には、この研究では、スパース畳み込みを使用して ConvNeXt を実装し、微調整中に特別な処理を行わずに重みを標準の高密度ネットワーク層に変換して戻すことを提案しています。事前トレーニングの効率をさらに向上させるために、この研究ではトランス デコーダーを単一の ConvNeXt に置き換え、設計全体を完全に畳み込み型にしました。研究者らは、これらの変更を加えた後、学習された特徴は役に立ち、ベースライン結果を改善しましたが、微調整されたパフォーマンスは依然としてトランスベースのモデルよりも劣っていることを観察しました。
次に、この研究では、さまざまなトレーニング構成を使用して ConvNeXt の特徴空間を分析します。マスクされた入力に対して ConvNeXt を直接トレーニングしたとき、研究者は MLP 層で潜在的な特徴崩壊の問題を発見しました。この問題を解決するために、この研究では、グローバル応答正規化層 (Global Response Normalization Layer) を追加して、チャネル間の機能競合を強化することを提案します。この改善は、マスクされたオートエンコーダーを使用してモデルが事前トレーニングされている場合に最も効果的であり、教師あり学習からの固定アーキテクチャ設計を再利用することが最良のアプローチではない可能性があることを示唆しています。
上記の改善に基づいて、この研究では ConvNeXt V2 を提案します。ConvNeXt V2 は、マスクされたオートエンコーダーと組み合わせた場合に優れたパフォーマンスを示します。同時に、研究者らは、ConvNeXt V2 は、ImageNet での分類タスク、COCO でのターゲット検出、ADE20K でのセマンティック セグメンテーションなど、さまざまな下流タスクにおいて、純粋な ConvNet に比べてパフォーマンスが大幅に向上していることを発見しました。
完全畳み込みマスク オートエンコーダ
この研究で提案された方法は概念的に単純であり、完全畳み込み方式で実装されています。学習信号は、元の視覚入力を高いマスク率でランダムにマスクし、残りのコンテキストに基づいて欠落部分をモデルに予測させることによって生成されます。全体的な枠組みを下図に示します。
このフレームワークは、スパース畳み込みに基づく ConvNeXt エンコーダと軽量の ConvNeXt デコーダで構成されており、オートエンコーダの構造は非対称です。エンコーダーは可視ピクセルのみを処理しますが、デコーダーはエンコードされたピクセルとマスク トークンを使用して画像を再構築します。同時に、損失はマスクされた領域でのみ計算されます。
全体的な反応の正規化
脳には、ニューロンの多様性を促進する多くのメカニズムが存在します。たとえば、側方抑制は、活性化ニューロンの応答を強化するのに役立ち、刺激に対する個々のニューロンのコントラストと選択性を高めると同時に、ニューロンの集団全体の応答の多様性も高めます。深層学習では、この形式の側方抑制は、応答の正規化によって実現できます。この研究では、グローバル応答正規化 (GRN) と呼ばれる新しい応答正規化レイヤーを導入しています。これは、チャネル間のコントラストと選択性を高めることを目的としています。 GRN ユニットは、1) グローバル特徴集約、2) 特徴正規化、3) 特徴キャリブレーションの 3 つのステップで構成されます。以下の図に示すように、GRN レイヤーを元の ConvNeXt ブロックにマージできます。
研究者らは実験に基づいて、GRN を適用する場合、LayerScale は必要なく、削除できることを発見しました。この新しいブロック設計を活用して、研究では、軽量 (Atto) から計算集約型 (Huge) まで、ConvNeXt V2 モデル ファミリと呼ばれる、さまざまな効率と容量を持つさまざまなモデルを作成しました。
GRN の役割を評価するために、この研究では FCMAE フレームワークを使用して ConvNeXt V2 を事前トレーニングしました。以下の図 3 の視覚的な表示と図 4 のコサイン距離分析から、ConvNeXt V2 が機能崩壊の問題を効果的に軽減していることがわかります。コサイン距離の値は一貫して高く、ネットワーク層の転送中に機能の多様性を維持できることを示しています。これは、MAE を使用して事前トレーニングされた ViT モデルに似ています。これは、ConvNeXt V2 の学習動作が、同様のマスク画像事前トレーニング フレームワークの下での ViT と同様であることを示しています。
調査では、微調整パフォーマンスをさらに評価しました。結果を以下の表に示します。
GRN を装備すると、FCMAE 事前トレーニング モデルは、300 エポックを使用してトレーニングされた教師ありモデルよりも大幅に優れたパフォーマンスを発揮できます。 GRN は、特徴の多様性を強化することで表現品質を向上させます。これはマスクベースの事前トレーニングにとって重要ですが、ConvNeXt V1 モデルにはありません。この改善は、パラメーターのオーバーヘッドを追加したり、FLOPS を増加させたりすることなく達成されることに注目してください。
最後に、この研究では、事前トレーニングと微調整における GRN の重要性についても調査しています。以下の表 2(f) に示すように、GRN が微調整から削除されるか、新しく初期化された GRN が微調整中に追加されるかにかかわらず、パフォーマンスは大幅に低下します。これは、GRN が事前トレーニングと微調整の両方で重要であることを示しています。
興味のある読者は、論文の原文を読んで研究の詳細を学ぶことができます。
以上がConvNeXt V2 は、最も単純な畳み込みアーキテクチャのみを使用し、Transformer に劣らないパフォーマンスを実現します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

「AI-Ready労働力」という用語は頻繁に使用されますが、サプライチェーン業界ではどういう意味ですか? サプライチェーン管理協会(ASCM)のCEOであるAbe Eshkenaziによると、批評家ができる専門家を意味します

分散型AI革命は静かに勢いを増しています。 今週の金曜日、テキサス州オースティンでは、ビテンサーのエンドゲームサミットは極めて重要な瞬間を示し、理論から実用的な応用に分散したAI(DEAI)を移行します。 派手なコマーシャルとは異なり

エンタープライズAIはデータ統合の課題に直面しています エンタープライズAIの適用は、ビジネスデータを継続的に学習することで正確性と実用性を維持できるシステムを構築する大きな課題に直面しています。 NEMOマイクロサービスは、NVIDIAが「データフライホイール」と呼んでいるものを作成することにより、この問題を解決し、AIシステムがエンタープライズ情報とユーザーインタラクションへの継続的な露出を通じて関連性を維持できるようにします。 この新しく発売されたツールキットには、5つの重要なマイクロサービスが含まれています。 NEMOカスタマイザーは、より高いトレーニングスループットを備えた大規模な言語モデルの微調整を処理します。 NEMO評価者は、カスタムベンチマークのAIモデルの簡素化された評価を提供します。 Nemo Guardrailsは、コンプライアンスと適切性を維持するためにセキュリティ管理を実装しています

AI:芸術とデザインの未来 人工知能(AI)は、前例のない方法で芸術とデザインの分野を変えており、その影響はもはやアマチュアに限定されませんが、より深く影響を与えています。 AIによって生成されたアートワークとデザインスキームは、広告、ソーシャルメディアの画像生成、Webデザインなど、多くのトランザクションデザインアクティビティで従来の素材画像とデザイナーに迅速に置き換えられています。 ただし、プロのアーティストやデザイナーもAIの実用的な価値を見つけています。 AIを補助ツールとして使用して、新しい美的可能性を探求し、さまざまなスタイルをブレンドし、新しい視覚効果を作成します。 AIは、アーティストやデザイナーが繰り返しタスクを自動化し、さまざまなデザイン要素を提案し、創造的な入力を提供するのを支援します。 AIはスタイル転送をサポートします。これは、画像のスタイルを適用することです

最初はビデオ会議プラットフォームで知られていたZoomは、エージェントAIの革新的な使用で職場革命をリードしています。 ZoomのCTOであるXD Huangとの最近の会話は、同社の野心的なビジョンを明らかにしました。 エージェントAIの定義 huang d

AIは教育に革命をもたらしますか? この質問は、教育者と利害関係者の間で深刻な反省を促しています。 AIの教育への統合は、機会と課題の両方をもたらします。 Tech Edvocate NotesのMatthew Lynch、Universitとして

米国における科学的研究と技術の開発は、おそらく予算削減のために課題に直面する可能性があります。 Natureによると、海外の雇用を申請するアメリカの科学者の数は、2024年の同じ期間と比較して、2025年1月から3月まで32%増加しました。以前の世論調査では、調査した研究者の75%がヨーロッパとカナダでの仕事の検索を検討していることが示されました。 NIHとNSFの助成金は過去数か月で終了し、NIHの新しい助成金は今年約23億ドル減少し、3分の1近く減少しました。リークされた予算の提案は、トランプ政権が科学機関の予算を急激に削減していることを検討しており、最大50%の削減の可能性があることを示しています。 基礎研究の分野での混乱は、米国の主要な利点の1つである海外の才能を引き付けることにも影響を与えています。 35

Openaiは、強力なGPT-4.1シリーズを発表しました。実際のアプリケーション向けに設計された3つの高度な言語モデルのファミリー。 この大幅な飛躍は、より速い応答時間、理解の強化、およびTと比較した大幅に削減されたコストを提供します


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

人気の記事

ホットツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

MinGW - Minimalist GNU for Windows
このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。

PhpStorm Mac バージョン
最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

SublimeText3 中国語版
中国語版、とても使いやすい

メモ帳++7.3.1
使いやすく無料のコードエディター

ホットトピック









