以前は OpenAI の GPT-4o があり、その後、Google の高度なマルチモーダル大型モデルが次々とヒットしました。
他の実践者たちはショックを受け、これらのスーパーモデルに再び追いつく方法を考え始めました。
HuggingFace とフランスのソルボンヌ大学によるこの論文では、大規模なビジュアル モデルを構築する際の重要な経験を要約し、開発者向けの方法を指摘しています。
写真
これらの体験は、モデル アーキテクチャの選択、トレーニング方法、トレーニング データなどの多くの側面をカバーしています。著者は、複数の比較を経て、次のような詳細な概要を示しました。
- 大規模なビジュアル モデルで適切な作業を行いたい場合は、アーキテクチャの選択が非常に重要です。
- 言語モデルは、ビジュアル モジュールよりも全体的なパフォーマンスに大きな影響を与えます。
- 段階的な事前トレーニング戦略を採用すると、モデルの機能を構築しやすくなります。
- 学習データには複数の種類を含め、それらのバランスに注意してください。
HFはこれらの経験を頼りに、同スケールのSOTAビジュアルモデルであるIdefics2を作成することができたと言えます。
Idefics2 は Mistral-7B に基づいており、全体のパラメーター量は 8B で、手書きフォントを正確に認識できます。
写真
これは専門家による優れたレビューであり、これは優れた調査レポートであり、ビジュアルモデル開発者にとって非常に役立つと言っていますが、同時に、これを万能薬として扱ってはいけないことを思い出させるものでもあります。
写真
もちろん、アーキテクチャ データは単なるクラウドであり、GPU の搭載が最も重要であると冗談を言う人もいます。
写真
これにはいくつかの真実がありますが、冗談はさておき、HuggingFace が私たちにどのような経験をもたらしたかを見てみましょう。
SOTA モデル開発の実践から来ています
HuggingFace 論文のこれらの経験は、ビジュアル モデル Idefics2 の開発プロセスから来ています。
同じスケールの旧 SOTA である前世代の Idefics1 および Flamingo と比較すると、Idefics2 は複数のデータセットで優れたパフォーマンスを発揮し、より大きな 13B モデルをも上回ります。
同時に、COCO データセット上の Idefics2 よりわずかに優れている MM1 と比較して、Idefics2 は各ピクチャで消費するトークンが大幅に少なくなります。
写真
Idefics2 の実際の開発から、HuggingFace が私たちにもたらした経験には、少なくとも次の側面が含まれています:
- バックボーンとアーキテクチャの選択
- トレーニング方法と戦略
- データの多様性と処理戦略
言語モデルは全体的なパフォーマンスに大きな影響を与えます
現在の大規模なビジュアルモデルは主に言語モデル+ビジュアルエンコーダの形式で開発されており、著者はこの2つの全体的なパフォーマンスへの影響を個別に評価しました。
結果は、言語モデルの品質が視覚モデルよりも重要であることを示しています。
同じ数のパラメーターを使用して、より優れた言語モデル (Llama-7B を Mistral-7B に置き換えるなど) を使用すると、下流のタスクにおける大規模なビジュアル モデルのパフォーマンスを大幅に向上させることができます。
ビジュアル エンコーダーのアップグレードによってもたらされる改善は比較的限定的であるため、トレードオフを行う最善の方法は、より強力な言語モデルを優先することです。
Pictures
もちろん、これは、ビジュアル エンコーダーをアップグレードしても効果がないという意味ではありません。条件が許せば、より優れたビジュアル エンコーダーを選択すると、パフォーマンスが向上する可能性があります。
さらに、下流タスクに一致する選択に注意を払う必要があります。たとえば、テキスト認識タスクでは、タスクが高い推論速度を必要とする場合、より軽量なモデルを使用することができます。選択されます。
そして、実際のアプリケーションでは、推論速度とメモリ使用量も考慮する必要がある要素です。Idefics2 が選択した SigLIP-SO400M は、パフォーマンスと効率のバランスが取れています。
ニーズに応じてアーキテクチャのタイプを選択してください
アーキテクチャの選択に関して、このホワイトペーパーでは、完全自己回帰とクロスアテンションという 2 つの一般的なアーキテクチャについて説明します。
完全な自己回帰アーキテクチャは、シーケンス全体の依存関係を考慮して、自己回帰的な方法で各出力を生成します。
後者では、モデルが 1 つのモダリティを処理するときに、別のモダリティの異なる部分に動的に焦点を当てることができ、より柔軟な相互接続を実現します。モーダルインタラクション。
特定の研究において、著者は、どのアーキテクチャのパフォーマンスが向上するかは、事前トレーニングされたバックボーンがフリーズされているかどうかに依存することを発見しました。
(簡単に言うと、事前トレーニングされたバックボーンが正式なトレーニング プロセスに参加している場合は凍結されておらず、参加していない場合は凍結されています)
凍結されていない場合、完全自己回帰アーキテクチャのパフォーマンスが向上します、逆も同様で、クロスアテンション アーキテクチャのパフォーマンスが向上します。
写真
バックボーンを凍結する必要があるかどうかについては、開発者のニーズの焦点によって異なります。
リソースが限られている状況で、高いパフォーマンスが必要で、レイテンシに非常に敏感な場合は、フリーズがより適切です。
モデルに高い柔軟性と適応性を持たせたい場合は、フリーズしないトレーニング方法を選択する必要があります。
特に Idefics2 では、バックボーンをフリーズしないことを選択したため、それに応じて完全な自己回帰アーキテクチャを採用しました。
写真
トレーニング段階での経験
適切なアーキテクチャを選択することは重要ですが、トレーニングプロセスも重要です。Idefics2 のトレーニングプロセス中に、著者は参考のためにこれらの経験を要約しました:
最初。全体として段階的な事前トレーニング戦略を採用し、初期段階では低解像度の画像を使用し、その後高解像度の PDF ドキュメントを導入します。このアプローチにより、モデルの複数の機能を徐々に構築できます。
2 つ目は、画像特徴を言語モデルに直接フィードする代わりに学習済みプーリングを使用することです。これにより、画像トークンの数が大幅に削減され、トレーニングと推論の効率が大幅に向上し、パフォーマンスも向上します。
3 番目の方法は、画像を複数のサブ画像に分割し、トレーニング中にそれらをモデルに送信することで、推論時のパフォーマンスを向上させることができます。これは、テキストなどのタスクで特に効果的です。すべての画像をこのように扱う必要があるわけではありません。
4 番目に、命令の微調整フェーズでより多様なデータとタスクを使用すると、モデルの一般化と堅牢性を向上させることができます。
さらに、トレーニングを安定させるために、事前トレーニングされたシングルモーダル バックボーンがトレーニングに参加するとき (フリーズされていない)、著者は LoRA テクノロジーを使用して事前トレーニング パラメーターも適応させます。
データの多様性と処理戦略
トレーニング プロセス自体に加えて、選択されたデータもモデルのパフォーマンスに大きな影響を与えます。
収集段階の初めから、複数のタイプのデータの選択に注意を払う必要があります。たとえば、Idefics2 で使用されるデータには、画像とテキストが配置されたドキュメント (Web ページなど)、画像とテキストのペアの 3 つのカテゴリが含まれます。 (写真のタイトルなど)、OCR 注釈付きの PDF ドキュメント。
さまざまな種類のデータの割合も、単に均等に分割するのではなく、実際のニーズに応じて適切にバランスをとる必要があります。
データサイズに関しては、条件が許せば大きいほど良いですが、もちろん、低品質のデータを除外することに注意を払う必要があります。
もちろん、収集はトレーニングデータを取得するための単なるステップです。モデルを適切にトレーニングしたい場合は、特定の処理が必要です。
さまざまな種類のデータに対して異なる前処理と強化戦略を採用します。たとえば、OCR データの場合は高解像度の画像を使用する必要がありますが、他のデータの場合は低解像度を使用できます。
ここで注意する必要があるのは、画像を処理するときに元のアスペクト比と解像度を保持する必要があるということです。これにより、モデルの適応性を向上させながら、トレーニングと推論の計算オーバーヘッドを大幅に節約できます。
これらの経験があなたにインスピレーションを与えたと思われる場合は、詳細について元の論文を読むことができます。また、コメント エリアで開発経験を共有することも歓迎します。
書類のアドレス: https://www.php.cn/link/52c8b8d56837155b4870fc2658b676f0
以上がHuggingFace が SOTA ビジュアル モデルの作り方を教えますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

「AI-Ready労働力」という用語は頻繁に使用されますが、サプライチェーン業界ではどういう意味ですか? サプライチェーン管理協会(ASCM)のCEOであるAbe Eshkenaziによると、批評家ができる専門家を意味します

分散型AI革命は静かに勢いを増しています。 今週の金曜日、テキサス州オースティンでは、ビテンサーのエンドゲームサミットは極めて重要な瞬間を示し、理論から実用的な応用に分散したAI(DEAI)を移行します。 派手なコマーシャルとは異なり

エンタープライズAIはデータ統合の課題に直面しています エンタープライズAIの適用は、ビジネスデータを継続的に学習することで正確性と実用性を維持できるシステムを構築する大きな課題に直面しています。 NEMOマイクロサービスは、NVIDIAが「データフライホイール」と呼んでいるものを作成することにより、この問題を解決し、AIシステムがエンタープライズ情報とユーザーインタラクションへの継続的な露出を通じて関連性を維持できるようにします。 この新しく発売されたツールキットには、5つの重要なマイクロサービスが含まれています。 NEMOカスタマイザーは、より高いトレーニングスループットを備えた大規模な言語モデルの微調整を処理します。 NEMO評価者は、カスタムベンチマークのAIモデルの簡素化された評価を提供します。 Nemo Guardrailsは、コンプライアンスと適切性を維持するためにセキュリティ管理を実装しています

AI:芸術とデザインの未来 人工知能(AI)は、前例のない方法で芸術とデザインの分野を変えており、その影響はもはやアマチュアに限定されませんが、より深く影響を与えています。 AIによって生成されたアートワークとデザインスキームは、広告、ソーシャルメディアの画像生成、Webデザインなど、多くのトランザクションデザインアクティビティで従来の素材画像とデザイナーに迅速に置き換えられています。 ただし、プロのアーティストやデザイナーもAIの実用的な価値を見つけています。 AIを補助ツールとして使用して、新しい美的可能性を探求し、さまざまなスタイルをブレンドし、新しい視覚効果を作成します。 AIは、アーティストやデザイナーが繰り返しタスクを自動化し、さまざまなデザイン要素を提案し、創造的な入力を提供するのを支援します。 AIはスタイル転送をサポートします。これは、画像のスタイルを適用することです

最初はビデオ会議プラットフォームで知られていたZoomは、エージェントAIの革新的な使用で職場革命をリードしています。 ZoomのCTOであるXD Huangとの最近の会話は、同社の野心的なビジョンを明らかにしました。 エージェントAIの定義 huang d

AIは教育に革命をもたらしますか? この質問は、教育者と利害関係者の間で深刻な反省を促しています。 AIの教育への統合は、機会と課題の両方をもたらします。 Tech Edvocate NotesのMatthew Lynch、Universitとして

米国における科学的研究と技術の開発は、おそらく予算削減のために課題に直面する可能性があります。 Natureによると、海外の雇用を申請するアメリカの科学者の数は、2024年の同じ期間と比較して、2025年1月から3月まで32%増加しました。以前の世論調査では、調査した研究者の75%がヨーロッパとカナダでの仕事の検索を検討していることが示されました。 NIHとNSFの助成金は過去数か月で終了し、NIHの新しい助成金は今年約23億ドル減少し、3分の1近く減少しました。リークされた予算の提案は、トランプ政権が科学機関の予算を急激に削減していることを検討しており、最大50%の削減の可能性があることを示しています。 基礎研究の分野での混乱は、米国の主要な利点の1つである海外の才能を引き付けることにも影響を与えています。 35

Openaiは、強力なGPT-4.1シリーズを発表しました。実際のアプリケーション向けに設計された3つの高度な言語モデルのファミリー。 この大幅な飛躍は、より速い応答時間、理解の強化、およびTと比較した大幅に削減されたコストを提供します


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

人気の記事

ホットツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

DVWA
Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

EditPlus 中国語クラック版
サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

SecLists
SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

WebStorm Mac版
便利なJavaScript開発ツール

ホットトピック









