検索
ホームページテクノロジー周辺機器AIHuggingFace が SOTA ビジュアル モデルの作り方を教えます

以前は OpenAI の GPT-4o があり、その後、Google の高度なマルチモーダル大型モデルが次々とヒットしました。

他の実践者たちはショックを受け、これらのスーパーモデルに再び追いつく方法を考え始めました。

HuggingFace とフランスのソルボンヌ大学によるこの論文では、大規模なビジュアル モデルを構築する際の重要な経験を要約し、開発者向けの方法を指摘しています。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

これらの体験は、モデル アーキテクチャの選択、トレーニング方法、トレーニング データなどの多くの側面をカバーしています。著者は、複数の比較を経て、次のような詳細な概要を示しました。

  • 大規模なビジュアル モデルで適切な作業を行いたい場合は、アーキテクチャの選択が非常に重要です。
  • 言語モデルは、ビジュアル モジュールよりも全体的なパフォーマンスに大きな影響を与えます。
  • 段階的な事前トレーニング戦略を採用すると、モデルの機能を構築しやすくなります。
  • 学習データには複数の種類を含め、それらのバランスに注意してください。

HFはこれらの経験を頼りに、同スケールのSOTAビジュアルモデルであるIdefics2を作成することができたと言えます。

Idefics2 は Mistral-7B に基づいており、全体のパラメーター量は 8B で、手書きフォントを正確に認識できます。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

これは専門家による優れたレビューであり、これは優れた調査レポートであり、ビジュアルモデル開発者にとって非常に役立つと言っていますが、同時に、これを万能薬として扱ってはいけないことを思い出させるものでもあります。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

もちろん、アーキテクチャ データは単なるクラウドであり、GPU の搭載が最も重要であると冗談を言う人もいます。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

これにはいくつかの真実がありますが、冗談はさておき、HuggingFace が私たちにどのような経験をもたらしたかを見てみましょう。

SOTA モデル開発の実践から来ています

HuggingFace 論文のこれらの経験は、ビジュアル モデル Idefics2 の開発プロセスから来ています。

同じスケールの旧 SOTA である前世代の Idefics1 および Flamingo と比較すると、Idefics2 は複数のデータセットで優れたパフォーマンスを発揮し、より大きな 13B モデルをも上回ります。

同時に、COCO データセット上の Idefics2 よりわずかに優れている MM1 と比較して、Idefics2 は各ピクチャで消費するトークンが大幅に少なくなります。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

Idefics2 の実際の開発から、HuggingFace が私たちにもたらした経験には、少なくとも次の側面が含まれています:

  • バックボーンとアーキテクチャの選択
  • トレーニング方法と戦略
  • データの多様性と処理戦略

言語モデルは全体的なパフォーマンスに大きな影響を与えます

現在の大規模なビジュアルモデルは主に言語モデル+ビジュアルエンコーダの形式で開発されており、著者はこの2つの全体的なパフォーマンスへの影響を個別に評価しました。

結果は、言語モデルの品質が視覚モデルよりも重要であることを示しています。

同じ数のパラメーターを使用して、より優れた言語モデル (Llama-7B を Mistral-7B に置き換えるなど) を使用すると、下流のタスクにおける大規模なビジュアル モデルのパフォーマンスを大幅に向上させることができます。

ビジュアル エンコーダーのアップグレードによってもたらされる改善は比較的限定的であるため、トレードオフを行う最善の方法は、より強力な言語モデルを優先することです。

HuggingFace が SOTA ビジュアル モデルの作り方を教えますPictures

もちろん、これは、ビジュアル エンコーダーをアップグレードしても効果がないという意味ではありません。条件が許せば、より優れたビジュアル エンコーダーを選択すると、パフォーマンスが向上する可能性があります。

さらに、下流タスクに一致する選択に注意を払う必要があります。たとえば、テキスト認識タスクでは、タスクが高い推論速度を必要とする場合、より軽量なモデルを使用することができます。選択されます。

そして、実際のアプリケーションでは、推論速度とメモリ使用量も考慮する必要がある要素です。Idefics2 が選択した SigLIP-SO400M は、パフォーマンスと効率のバランスが取れています。

ニーズに応じてアーキテクチャのタイプを選択してください

アーキテクチャの選択に関して、このホワイトペーパーでは、完全自己回帰とクロスアテンションという 2 つの一般的なアーキテクチャについて説明します。

完全な自己回帰アーキテクチャは、シーケンス全体の依存関係を考慮して、自己回帰的な方法で各出力を生成します。

後者では、モデルが 1 つのモダリティを処理するときに、別のモダリティの異なる部分に動的に焦点を当てることができ、より柔軟な相互接続を実現します。モーダルインタラクション。

特定の研究において、著者は、どのアーキテクチャのパフォーマンスが向上するかは、事前トレーニングされたバックボーンがフリーズされているかどうかに依存することを発見しました。

(簡単に言うと、事前トレーニングされたバックボーンが正式なトレーニング プロセスに参加している場合は凍結されておらず、参加していない場合は凍結されています)

凍結されていない場合、完全自己回帰アーキテクチャのパフォーマンスが向上します、逆も同様で、クロスアテンション アーキテクチャのパフォーマンスが向上します。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

バックボーンを凍結する必要があるかどうかについては、開発者のニーズの焦点によって異なります。

リソースが限られている状況で、高いパフォーマンスが必要で、レイテンシに非常に敏感な場合は、フリーズがより適切です。

モデルに高い柔軟性と適応性を持たせたい場合は、フリーズしないトレーニング方法を選択する必要があります。

特に Idefics2 では、バックボーンをフリーズしないことを選択したため、それに応じて完全な自己回帰アーキテクチャを採用しました。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

トレーニング段階での経験

適切なアーキテクチャを選択することは重要ですが、トレーニングプロセスも重要です。Idefics2 のトレーニングプロセス中に、著者は参考のためにこれらの経験を要約しました:

最初。全体として段階的な事前トレーニング戦略を採用し、初期段階では低解像度の画像を使用し、その後高解像度の PDF ドキュメントを導入します。このアプローチにより、モデルの複数の機能を徐々に構築できます。

2 つ目は、画像特徴を言語モデルに直接フィードする代わりに学習済みプーリングを使用することです。これにより、画像トークンの数が大幅に削減され、トレーニングと推論の効率が大幅に向上し、パフォーマンスも向上します。

3 番目の方法は、画像を複数のサブ画像に分割し、トレーニング中にそれらをモデルに送信することで、推論時のパフォーマンスを向上させることができます。これは、テキストなどのタスクで特に効果的です。すべての画像をこのように扱う必要があるわけではありません。

4 番目に、命令の微調整フェーズでより多様なデータとタスクを使用すると、モデルの一般化と堅牢性を向上させることができます。

さらに、トレーニングを安定させるために、事前トレーニングされたシングルモーダル バックボーンがトレーニングに参加するとき (フリーズされていない)、著者は LoRA テクノロジーを使用して事前トレーニング パラメーターも適応させます。

データの多様性と処理戦略

トレーニング プロセス自体に加えて、選択されたデータもモデルのパフォーマンスに大きな影響を与えます。

収集段階の初めから、複数のタイプのデータの選択に注意を払う必要があります。たとえば、Idefics2 で使用されるデータには、画像とテキストが配置されたドキュメント (Web ページなど)、画像とテキストのペアの 3 つのカテゴリが含まれます。 (写真のタイトルなど)、OCR 注釈付きの PDF ドキュメント。

さまざまな種類のデータの割合も、単に均等に分割するのではなく、実際のニーズに応じて適切にバランスをとる必要があります。

データサイズに関しては、条件が許せば大きいほど良いですが、もちろん、低品質のデータを除外することに注意を払う必要があります。

もちろん、収集はトレーニングデータを取得するための単なるステップです。モデルを適切にトレーニングしたい場合は、特定の処理が必要です。

さまざまな種類のデータに対して異なる前処理と強化戦略を採用します。たとえば、OCR データの場合は高解像度の画像を使用する必要がありますが、他のデータの場合は低解像度を使用できます。

ここで注意する必要があるのは、画像を処理するときに元のアスペクト比と解像度を保持する必要があるということです。これにより、モデルの適応性を向上させながら、トレーニングと推論の計算オーバーヘッドを大幅に節約できます。

これらの経験があなたにインスピレーションを与えたと思われる場合は、詳細について元の論文を読むことができます。また、コメント エリアで開発経験を共有することも歓迎します。

書類のアドレス: https://www.php.cn/link/52c8b8d56837155b4870fc2658b676f0

以上がHuggingFace が SOTA ビジュアル モデルの作り方を教えますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
从VAE到扩散模型:一文解读以文生图新范式从VAE到扩散模型:一文解读以文生图新范式Apr 08, 2023 pm 08:41 PM

1 前言在发布DALL·E的15个月后,OpenAI在今年春天带了续作DALL·E 2,以其更加惊艳的效果和丰富的可玩性迅速占领了各大AI社区的头条。近年来,随着生成对抗网络(GAN)、变分自编码器(VAE)、扩散模型(Diffusion models)的出现,深度学习已向世人展现其强大的图像生成能力;加上GPT-3、BERT等NLP模型的成功,人类正逐步打破文本和图像的信息界限。在DALL·E 2中,只需输入简单的文本(prompt),它就可以生成多张1024*1024的高清图像。这些图像甚至

普林斯顿陈丹琦:如何让「大模型」变小普林斯顿陈丹琦:如何让「大模型」变小Apr 08, 2023 pm 04:01 PM

“Making large models smaller”这是很多语言模型研究人员的学术追求,针对大模型昂贵的环境和训练成本,陈丹琦在智源大会青源学术年会上做了题为“Making large models smaller”的特邀报告。报告中重点提及了基于记忆增强的TRIME算法和基于粗细粒度联合剪枝和逐层蒸馏的CofiPruning算法。前者能够在不改变模型结构的基础上兼顾语言模型困惑度和检索速度方面的优势;而后者可以在保证下游任务准确度的同时实现更快的处理速度,具有更小的模型结构。陈丹琦 普

找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了Apr 08, 2023 pm 06:21 PM

Wav2vec 2.0 [1],HuBERT [2] 和 WavLM [3] 等语音预训练模型,通过在多达上万小时的无标注语音数据(如 Libri-light )上的自监督学习,显著提升了自动语音识别(Automatic Speech Recognition, ASR),语音合成(Text-to-speech, TTS)和语音转换(Voice Conversation,VC)等语音下游任务的性能。然而这些模型都没有公开的中文版本,不便于应用在中文语音研究场景。 WenetSpeech [4] 是

解锁CNN和Transformer正确结合方法,字节跳动提出有效的下一代视觉Transformer解锁CNN和Transformer正确结合方法,字节跳动提出有效的下一代视觉TransformerApr 09, 2023 pm 02:01 PM

由于复杂的注意力机制和模型设计,大多数现有的视觉 Transformer(ViT)在现实的工业部署场景中不能像卷积神经网络(CNN)那样高效地执行。这就带来了一个问题:视觉神经网络能否像 CNN 一样快速推断并像 ViT 一样强大?近期一些工作试图设计 CNN-Transformer 混合架构来解决这个问题,但这些工作的整体性能远不能令人满意。基于此,来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer——Next-ViT。从延迟 / 准确性权衡的角度看,

Stable Diffusion XL 现已推出—有什么新功能,你知道吗?Stable Diffusion XL 现已推出—有什么新功能,你知道吗?Apr 07, 2023 pm 11:21 PM

3月27号,Stability AI的创始人兼首席执行官Emad Mostaque在一条推文中宣布,Stable Diffusion XL 现已可用于公开测试。以下是一些事项:“XL”不是这个新的AI模型的官方名称。一旦发布稳定性AI公司的官方公告,名称将会更改。与先前版本相比,图像质量有所提高与先前版本相比,图像生成速度大大加快。示例图像让我们看看新旧AI模型在结果上的差异。Prompt: Luxury sports car with aerodynamic curves, shot in a

五年后AI所需算力超100万倍!十二家机构联合发表88页长文:「智能计算」是解药五年后AI所需算力超100万倍!十二家机构联合发表88页长文:「智能计算」是解药Apr 09, 2023 pm 07:01 PM

人工智能就是一个「拼财力」的行业,如果没有高性能计算设备,别说开发基础模型,就连微调模型都做不到。但如果只靠拼硬件,单靠当前计算性能的发展速度,迟早有一天无法满足日益膨胀的需求,所以还需要配套的软件来协调统筹计算能力,这时候就需要用到「智能计算」技术。最近,来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇论文,首次对智能计算领域进行了全面的调研,涵盖了理论基础、智能与计算的技术融合、重要应用、挑战和未来前景。论文链接:​https://spj.scien

​什么是Transformer机器学习模型?​什么是Transformer机器学习模型?Apr 08, 2023 pm 06:31 PM

译者 | 李睿审校 | 孙淑娟​近年来, Transformer 机器学习模型已经成为深度学习和深度神经网络技术进步的主要亮点之一。它主要用于自然语言处理中的高级应用。谷歌正在使用它来增强其搜索引擎结果。OpenAI 使用 Transformer 创建了著名的 GPT-2和 GPT-3模型。自从2017年首次亮相以来,Transformer 架构不断发展并扩展到多种不同的变体,从语言任务扩展到其他领域。它们已被用于时间序列预测。它们是 DeepMind 的蛋白质结构预测模型 AlphaFold

AI模型告诉你,为啥巴西最可能在今年夺冠!曾精准预测前两届冠军AI模型告诉你,为啥巴西最可能在今年夺冠!曾精准预测前两届冠军Apr 09, 2023 pm 01:51 PM

说起2010年南非世界杯的最大网红,一定非「章鱼保罗」莫属!这只位于德国海洋生物中心的神奇章鱼,不仅成功预测了德国队全部七场比赛的结果,还顺利地选出了最终的总冠军西班牙队。不幸的是,保罗已经永远地离开了我们,但它的「遗产」却在人们预测足球比赛结果的尝试中持续存在。在艾伦图灵研究所(The Alan Turing Institute),随着2022年卡塔尔世界杯的持续进行,三位研究员Nick Barlow、Jack Roberts和Ryan Chan决定用一种AI算法预测今年的冠军归属。预测模型图

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

PhpStorm Mac バージョン

PhpStorm Mac バージョン

最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

Eclipse を SAP NetWeaver アプリケーション サーバーと統合します。

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません