検索
ホームページテクノロジー周辺機器AINvidia はプルーニングと蒸留に取り組んでいます。Llama 3.1 8B パラメーターを半分にカットして、同じサイズでより良いパフォーマンスを実現します。

小型モデルの台頭。

先月、Meta は Llama 3.1 シリーズのモデルをリリースしました。これには、Meta のこれまでで最大のモデルである 405B と 2 つの小型モデルが含まれます。パラメータの量はそれぞれ 700 億と 80 億です。

Llama 3.1 は、オープンソースの新時代の到来を告げるものと考えられています。ただし、新世代モデルはパフォーマンスが強力ですが、導入時には依然として大量のコンピューティング リソースが必要です。

したがって、業界では別の傾向が現れています。それは、多くの言語タスクで十分なパフォーマンスを発揮し、導入が非常に安価な小規模言語モデル (SLM) を開発することです。

最近、NVIDIA の研究により、構造化された重み枝刈りと知識の蒸留を組み合わせることで、最初は大きなモデルから徐々に小さな言語モデルを取得できることが示されました。 #🎜🎜 ##### 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜#、Meta のチーフ AI サイエンティストである Jann LECun 氏もこの研究を賞賛しました。

英伟达玩转剪枝、蒸馏:把Llama 3.1 8B参数减半,性能同尺寸更强
NVIDIA 研究チームは、枝刈りと蒸留を経て、Llama 3.1 8B を Llama-3.1-Minitron 4B に改良し、オープンソースにしました。これは、Llama 3.1 オープンソース シリーズにおける Nvidia の最初のリリースです。

Llama-3.1-Minitron 4B は、Minitron 4B、Phi-2 2.7B、Gemma2 2.6B、Qwen2-1.5B など、同様のサイズの最先端のオープンソース モデルよりも優れたパフォーマンスを発揮します。

この研究の関連論文は先月早くも発表されました。

英伟达玩转剪枝、蒸馏:把Llama 3.1 8B参数减半,性能同尺寸更强

紙のリンク: https://www.arxiv.org/pdf/2407.14679

#🎜 🎜#
英伟达玩转剪枝、蒸馏:把Llama 3.1 8B参数减半,性能同尺寸更强論文タイトル: 剪定と知識の蒸留によるコンパクト言語モデル
  • 剪定と蒸留
  • # 🎜 🎜#
  • 枝刈りを行うと、モデルがより小さくスリムになります。これは、レイヤーを削除する (深さ枝刈り) か、ニューロンとアテンション ヘッドを削除してチャネルを埋め込む (幅枝刈り) ことで実現できます。通常、プルーニングには、精度を回復するためのある程度の再トレーニングが伴います。

    モデルの蒸留は、大規模で複雑なモデル (教師モデルと呼ばれることが多い) から、より小さく単純な学生モデルに知識を伝達するための手法です。目標は、元のより大きなモデルの予測能力の多くを維持しながら、より高速に実行し、リソースの消費を少なくする、より効率的なモデルを作成することです。
主な蒸留方法は 2 つあります: SDG ファインチューニングと古典的な知識の蒸留 これら 2 つの蒸留方法は補完的です。この記事では、古典的な知識の蒸留方法に焦点を当てます。

NVIDIA では、枝刈りと古典的な知識の抽出を組み合わせた方法を使用して大規模なモデルを構築しています。次の図は、単一モデルの枝刈りおよび抽出のプロセス (上) とモデルの枝刈りおよび抽出のチェーンを示しています (下)。 )。具体的なプロセスは次のとおりです:

1. NVIDIA は 15B モデルから開始し、各コンポーネント (レイヤー、ニューロン、ヘッド、エンベディング チャネル) の重要性を評価し、モデルをソートおよびプルーニングして作成します。目標サイズに達しました: 8B モデル。

2 次に、元のモデルを教師、枝刈りしたモデルを生徒として、モデル蒸留を使用して軽い再トレーニングを実行しました。

3. トレーニング後、小さいモデル (8B) を開始点として取り、それを枝刈りしてより小さい 4B モデルに蒸留します。 #🎜🎜## ##

注意すべき点は、モデルを枝刈りする前に、モデルのどの部分が重要であるかを理解する必要があるということです。 NVIDIA は、1024 サンプルの小さなキャリブレーション データセットを使用して、関連するすべての次元 (深度、ニューロン、ヘッド、埋め込みチャネル) の情報を同時に計算する、アクティベーション ベースの純粋な重要性評価戦略を提案しています。必要なのは順方向伝播のみです。このアプローチは、勾配情報に依存しバックプロパゲーションを必要とする戦略よりもシンプルでコスト効率が高くなります。

枝刈り中、特定の軸または軸の組み合わせについて枝刈りと重要度推定を繰り返し交互に行うことができます。実証研究では、単一の重要度推定値を使用するだけで十分であり、反復推定では追加の利点がもたらされないことが示されています。

古典知識の蒸留を用いた再トレーニング

Rajah 2 di bawah menunjukkan proses penyulingan, di mana model pelajar lapisan N (model cantas) disuling daripada model guru lapisan M (model asal tidak dipangkas). Model pelajar dipelajari dengan meminimumkan gabungan kehilangan output pembenaman, kehilangan logit, dan kerugian khusus pengekod Transformer yang dipetakan ke blok pelajar S dan blok guru T. Rajah 2: Kehilangan latihan penyulingan.

英伟达玩转剪枝、蒸馏:把Llama 3.1 8B参数减半,性能同尺寸更强

Amalan terbaik untuk pemangkasan dan penyulinganNVIDIA pemangkasan dan model penyulingan berdasarkan pengetahuan penyelidikan ablasi yang meluas, saya meringkaskan hasil pembelajaran saya ke dalam amalan terbaik pemampatan berstruktur berikut.

Pertama ialah melaraskan saiz.

Untuk melatih satu set LLM, yang terbesar dilatih terlebih dahulu, dan kemudian dipangkas dan disuling secara berulang untuk mendapatkan LLM yang lebih kecil.

Jika strategi latihan pelbagai peringkat digunakan untuk melatih model terbesar, sebaiknya memangkas dan melatih semula model yang diperoleh pada peringkat terakhir latihan.
  • Pangkas model sumber yang tersedia paling hampir dengan saiz sasaran.
  • Yang kedua ialah pemangkasan.
  • Utamakan pemangkasan lebar berbanding pemangkasan kedalaman, yang berfungsi dengan baik untuk model di bawah saiz parameter 15B.

Gunakan anggaran kepentingan satu pukulan kerana tiada faedah daripada anggaran kepentingan berulang.
  • Yang ketiga ialah melatih semula.
  • Hanya gunakan kehilangan penyulingan untuk latihan semula dan bukannya latihan biasa.

Gunakan logit, keadaan pertengahan dan penyulingan benam apabila kedalaman berkurangan dengan ketara.
  • Gunakan penyulingan logit sahaja apabila kedalaman tidak berkurangan dengan ketara.
  • Llama-3.1-Minitron: Melaksanakan amalan terbaik
  • #🎜🎜 ciri berkuasa #Meta Llama yang dilancarkan baru-baru ini 3.1 keluarga model sumber terbuka adalah setanding dengan model sumber tertutup dalam banyak penanda aras. Parameter Llama 3.1 berjulat daripada 405B besar hingga 70B dan 8B.

  • Dengan pengalaman penyulingan Nemotron, NVIDIA berhasrat untuk menyaring model Llama 3.1 8B menjadi model 4B yang lebih kecil dan lebih cekap, mengambil langkah berikut:

#🎜🎜 ##🎜 🎜# penalaan halus guru

Pemangkasan mendalam sahaja

#🎜🎜🎜##🎜🎜 🎜🎜#
  • Tanda Aras Ketepatan

  • Tanda Aras Prestasi#🎜##🎜🎜🎜🎜🎜 🎜 ## 🎜🎜#penalaan halus guru

  • Untuk membetulkan bias pengedaran set data asal yang menjadi asas latihan model, NVIDIA mula-mula melatih model 8B yang tidak dipangkas pada mereka set data (token 94B) Ditala halus. Eksperimen menunjukkan bahawa jika bias pengedaran tidak diperbetulkan, model guru menyediakan panduan suboptimum untuk set data semasa penyulingan.

  • Pemangkasan mendalam sahaja
  • Untuk mengurangkan daripada 8B kepada 4B, NVIDIA memangkas 16 lapisan (50%). Mula-mula mereka menilai kepentingan setiap lapisan atau kumpulan sub-lapisan berturut-turut dengan mengalih keluarnya daripada model dan memerhatikan peningkatan kehilangan LM atau penurunan ketepatan dalam tugas hiliran.
  • Rajah 5 di bawah menunjukkan nilai kehilangan LM pada set pengesahan selepas mengeluarkan 1, 2, 8 atau 16 lapisan. Sebagai contoh, plot merah untuk lapisan 16 menunjukkan kehilangan LM yang berlaku jika 16 lapisan pertama dialih keluar. Lapisan 17 menunjukkan kehilangan LM juga berlaku jika lapisan pertama dikekalkan dan lapisan 2 hingga 17 dipadamkan. Nvidia memerhati: Lapisan permulaan dan penamat adalah yang paling penting.

                                                                                                                                                                                                                                                             5: Kepentingan pemangkasan kedalaman sahaja lapisan tengah.

Walau bagaimanapun, NVIDIA memerhatikan bahawa kerugian LM ini tidak semestinya berkaitan secara langsung dengan prestasi hiliran. Rajah 6 di bawah menunjukkan ketepatan Winogrande bagi setiap model yang dipangkas, yang menunjukkan bahawa adalah yang terbaik untuk memadamkan lapisan ke-16 hingga ke-31, di mana lapisan ke-31 ialah lapisan kedua terakhir, 5 daripada model pangkas -shot ketepatan adalah jauh lebih tinggi daripada ketepatan rawak (0.5). Nvidia mengambil cerapan ini dan mengalih keluar lapisan 16 hingga 31.

英伟达玩转剪枝、蒸馏:把Llama 3.1 8B参数减半,性能同尺寸更强                                                                                                                                                                                                                                                                                             

Pemangkasan lebar sahaja

NVIDIA membenamkan prun di sepanjang paksi lebar antara media (tersembunyi) dan MLP untuk memampatkan Llama 3.1 8B. Khususnya, mereka menggunakan strategi berasaskan pengaktifan yang diterangkan sebelum ini untuk mengira skor kepentingan bagi setiap kepala perhatian, saluran pembenaman dan dimensi tersembunyi MLP.

Selepas anggaran kepentingan, NVIDIA memilih

英伟达玩转剪枝、蒸馏:把Llama 3.1 8B参数减半,性能同尺寸更强
untuk memangkas dimensi pertengahan MLP dari 14336 kepada 9216.

Pangkas saiz tersembunyi dari 4096 hingga 3072.

Latih semula perhatian kepada bilangan kepala dan bilangan lapisan.

Perlu dinyatakan bahawa selepas pemangkasan sampel tunggal, kehilangan LM pemangkasan lebar adalah lebih tinggi daripada pemangkasan kedalaman. Walau bagaimanapun, selepas tempoh latihan semula yang singkat, arah aliran berubah.

Tanda Aras Ketepatan

NVIDIA menggunakan parameter berikut untuk menyuling model

#🎜##🎜🎜🎜🎜##🎜🎜 #Kadar pembelajaran puncak = 1e-4
  • Kadar pembelajaran minimum = 1e-5
  • #🎜🎜 linear Warmup

  • Cosine Decay Plan

  • Saiz kelompok global = ###saiz kelompok = 1152🎜🎜 🎜🎜#

    Jadual 1 di bawah menunjukkan varian model Llama-3.1-Minitron 4B (pantasan lebar dan pemangkasan kedalaman) berbanding model asal Llama 3.1 8B dan model bersaiz serupa lain pada penanda aras merentas berbilang domain Perbandingan prestasi dalam ujian. Secara keseluruhan, NVIDIA sekali lagi mengesahkan keberkesanan strategi pemangkasan yang luas berbanding pemangkasan mendalam yang mengikut amalan terbaik.

                                                                                                                   untuk  Bandingkan.

英伟达玩转剪枝、蒸馏:把Llama 3.1 8B参数减半,性能同尺寸更强
Untuk mengesahkan sama ada model suling boleh menjadi model arahan yang berkuasa, NVIDIA menggunakan NeMo-Aligner untuk memperhalusi model Llama-3.1-Minitron 4B.

Mereka menggunakan data latihan Nemotron-4 340B dan menilai pada IFEval, MT-Bench, ChatRAG-Bench dan Berkeley Function Calling Leaderboard (BFCL) untuk menguji arahan mengikut, main peranan, RAG dan fungsi panggilan fungsi. Akhirnya, telah disahkan bahawa model Llama-3.1-Minitron 4B boleh menjadi model arahan yang boleh dipercayai, mengatasi prestasi SLM asas yang lain. #🎜🎜 ##### 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜#Jadual 2: Jajarkan ketepatan model penjajaran dengan model penjajaran skala yang serupa.

Tanda Aras Prestasi

NVIDIA memanfaatkan NVIDIA TensorRT-LLM, alat pengoptimuman LLM, alat sumber terbuka ) model Llama 3.1 8B dan Llama-3.1-Minitron 4B yang dioptimumkan.
英伟达玩转剪枝、蒸馏:把Llama 3.1 8B参数减半,性能同尺寸更强Dua angka seterusnya menunjukkan permintaan pemprosesan sesaat bagi model berbeza dengan ketepatan FP8 dan FP16 di bawah kes penggunaan yang berbeza, dinyatakan sebagai panjang jujukan input/panjang jujukan output model 8B dengan saiz kelompok sebanyak 32 (ISL/OSL) serta kombinasi panjang jujukan input/panjang jujukan output (ISL/OSL) dengan saiz kelompok 64 untuk model 4B, terima kasih kepada pemberat yang lebih kecil yang membenarkan saiz kelompok yang lebih besar pada NVIDIA H100 80GB GPU .

Varian Llama-3.1-Minitron-4B-Depth-Base adalah yang terpantas, dengan daya pemprosesan purata kira-kira 2.7 kali ganda berbanding Llama 3.1 8B, manakala Llama-3.1-Minitron-4B-Width -Varian asas adalah yang terpantas Purata daya pemprosesan varian adalah kira-kira 1.8 kali ganda berbanding Llama 3.1 8B. Penggunaan dalam FP8 juga meningkatkan prestasi ketiga-tiga model sebanyak lebih kurang 1.3x berbanding BF16.

# 🎜🎜#  e      Figur 1    : BS =32, Llama-3.1-Minitron 4B model BS=64 1x H100 80GB GPU.

Kesimpulan

英伟达玩转剪枝、蒸馏:把Llama 3.1 8B参数减半,性能同尺寸更强Pemangkasan dan pemurnian pengetahuan klasik ialah kaedah yang sangat menjimatkan kos yang boleh diperolehi LLM bersaiz lebih kecil boleh mencapai ketepatan yang lebih tinggi daripada melatihnya dari awal dalam semua domain. Ini adalah pendekatan yang lebih cekap dan cekap data daripada penalaan halus pada data sintetik atau pra-latihan dari awal.
Llama-3.1-Minitron 4B ialah percubaan pertama Nvidia menggunakan siri Llama 3.1 sumber terbuka terkini. Untuk menggunakan penalaan halus SDG Llama-3.1 dengan NVIDIA NeMo, lihat bahagian /sdg-law-title-generation di GitHub. 英伟达玩转剪枝、蒸馏:把Llama 3.1 8B参数减半,性能同尺寸更强
Untuk maklumat lanjut, sila lihat sumber berikut:

https://arxiv.org/abs/2407.14679# 🎜🎜#

https://github.com/NVlabs/Minitron

https://huggingface.co/nvidia/Llama- 3.1-Minitron-4B-Width-Base

https://huggingface.co/nvidia/Llama-3.1-Minitron-4B-Depth-Base#🎜🎜

  • Pautan rujukan:

  • https://developer.nvidia.nvidia. /cara-memangkas-dan-menyuling-llama-3-1-8b-kepada-an-nvidia-llama-3-1-minitron-4b-model/

以上がNvidia はプルーニングと蒸留に取り組んでいます。Llama 3.1 8B パラメーターを半分にカットして、同じサイズでより良いパフォーマンスを実現します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
Huggingface smollmであなたの個人的なAIアシスタントを構築する方法Huggingface smollmであなたの個人的なAIアシスタントを構築する方法Apr 18, 2025 am 11:52 AM

オンデバイスAIの力を活用:個人的なチャットボットCLIの構築 最近では、個人的なAIアシスタントの概念はサイエンスフィクションのように見えました。 ハイテク愛好家のアレックスを想像して、賢くて地元のAI仲間を夢見ています。

メンタルヘルスのためのAIは、スタンフォード大学でのエキサイティングな新しいイニシアチブによって注意深く分析されますメンタルヘルスのためのAIは、スタンフォード大学でのエキサイティングな新しいイニシアチブによって注意深く分析されますApr 18, 2025 am 11:49 AM

AI4MHの最初の発売は2025年4月15日に開催され、有名な精神科医および神経科学者であるLuminary Dr. Tom Insel博士がキックオフスピーカーを務めました。 Insel博士は、メンタルヘルス研究とテクノでの彼の傑出した仕事で有名です

2025年のWNBAドラフトクラスは、成長し、オンラインハラスメントの成長と戦いに参加します2025年のWNBAドラフトクラスは、成長し、オンラインハラスメントの成長と戦いに参加しますApr 18, 2025 am 11:44 AM

「私たちは、WNBAが、すべての人、プレイヤー、ファン、企業パートナーが安全であり、大切になり、力を与えられたスペースであることを保証したいと考えています」とエンゲルバートは述べ、女性のスポーツの最も有害な課題の1つになったものに取り組んでいます。 アノ

Pythonビルトインデータ構造の包括的なガイド-AnalyticsVidhyaPythonビルトインデータ構造の包括的なガイド-AnalyticsVidhyaApr 18, 2025 am 11:43 AM

導入 Pythonは、特にデータサイエンスと生成AIにおいて、プログラミング言語として優れています。 大規模なデータセットを処理する場合、効率的なデータ操作(ストレージ、管理、アクセス)が重要です。 以前に数字とstをカバーしてきました

Openaiの新しいモデルからの代替案からの第一印象Openaiの新しいモデルからの代替案からの第一印象Apr 18, 2025 am 11:41 AM

潜る前に、重要な注意事項:AIパフォーマンスは非決定論的であり、非常にユースケース固有です。簡単に言えば、走行距離は異なる場合があります。この(または他の)記事を最終的な単語として撮影しないでください。これらのモデルを独自のシナリオでテストしないでください

AIポートフォリオ| AIキャリアのためにポートフォリオを構築する方法は?AIポートフォリオ| AIキャリアのためにポートフォリオを構築する方法は?Apr 18, 2025 am 11:40 AM

傑出したAI/MLポートフォリオの構築:初心者と専門家向けガイド 説得力のあるポートフォリオを作成することは、人工知能(AI)と機械学習(ML)で役割を確保するために重要です。 このガイドは、ポートフォリオを構築するためのアドバイスを提供します

エージェントAIがセキュリティ運用にとって何を意味するのかエージェントAIがセキュリティ運用にとって何を意味するのかApr 18, 2025 am 11:36 AM

結果?燃え尽き症候群、非効率性、および検出とアクションの間の隙間が拡大します。これは、サイバーセキュリティで働く人にとってはショックとしてはありません。 しかし、エージェントAIの約束は潜在的なターニングポイントとして浮上しています。この新しいクラス

Google対Openai:学生のためのAIの戦いGoogle対Openai:学生のためのAIの戦いApr 18, 2025 am 11:31 AM

即時の影響と長期パートナーシップ? 2週間前、Openaiは強力な短期オファーで前進し、2025年5月末までに米国およびカナダの大学生にChatGpt Plusに無料でアクセスできます。このツールにはGPT ‑ 4o、Aが含まれます。

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。