検索

ホームページ >テクノロジー周辺機器 >AI >Gemma 2を微調整し、ローカルで使用します

Gemma 2を微調整し、ローカルで使用します

Jennifer Aniston
Jennifer Anistonオリジナル
2025-03-05 10:01:10413ブラウズ

このチュートリアルでは、患者ドクターの会話データセットでGoogleのGemma 2モデルを微調整し、オフラインで使用するために展開していることを示しています。 モデルの準備、LORAでの微調整、モデルの合併、量子化、およびJANアプリケーションでのローカル展開について説明します。

Fine-Tuning Gemma 2 and Using it Locally

ジェマ2

の理解 Googleの最新のオープンソースラージモデル（LLM）であるGemma 2は、許容ライセンスの下で9Bおよび27Bのパラメーターバージョンを提供しています。その改良されたアーキテクチャは、さまざまなハードウェアにわたってより速い推論を提供し、フェイストランス、Jax、Pytorch、Tensorflowの抱き合ったものとシームレスに統合します。 強化された安全機能と倫理的AI展開ツールも含まれています。

gemma 2Fine-Tuning Gemma 2 and Using it Locally

にアクセスして実行します

このセクションでは、4ビットの量子化（消費者ハードウェアのメモリ効率に必要）のダウンロードと実行の推論の詳細。

パッケージをインストール：

インストール
    、
  1. 、および

    。 bitsandbytes transformersaccelerate顔の認証の抱きしめ：

    ハグの顔トークン（抱きしめる顔アカウントから取得）を使用して認証します。

  2. ロードモデルとトークンザー： 4ビット量子化と適切なデバイスマッピングを使用して

    モデルをロードします。

  3. 推論：プロンプトを作成し、それをトークン化し、応答を生成し、デコードします。 google/gemma-2-9b-it

lora

Fine-Tuning Gemma 2 and Using it Locally を備えた微調整gemma 2 このセクションでは、効率的なトレーニングのためにLORA（低ランク適応）を使用して、ヘルスケアデータセットで微調整されたGemma 2をガイドします。

Fine-Tuning Gemma 2 and Using it Locally

のセットアップ：

必要なパッケージをインストールします（、、

、

、

、
    、
  1. ）。 抱きしめる顔と重量とバイアスで認証。

    transformersdatasetsモデルとトークネイザーの負荷：accelerate4ビット量子化、調整データタイプ、およびGPU機能に基づいた注意実装を備えたgemma 2（9b-it）をロードします。 LORAパラメーターを構成します peft trl bitsandbyteswandbデータセットの読み込み：

    モデルに適したチャット形式を作成します。

  2. トレーニング：トレーニング引数を設定し（必要に応じてハイパーパラメーターを調整します）、SFTTrainerを使用してモデルをトレーニングします。 重量とバイアスでトレーニングの進捗状況を監視します。

Fine-Tuning Gemma 2 and Using it Locally

Fine-Tuning Gemma 2 and Using it Locally

  1. 評価：重みとバイアスを終了して、評価レポートを生成します。

  2. モデルの保存：微調整されたロラアダプターをローカルに保存し、ハグのフェイスハブに押します。

Fine-Tuning Gemma 2 and Using it Locally

アダプターとベースモデルのマージ

このステップは、微調整されたLORAアダプターと、単一の展開可能なモデルのベースGEMMA 2モデルとマージします。 これは、メモリの制約を管理するためにCPUで行われます。

のセットアップ：
    新しいノートブック（CPUベース）を作成し、必要なパッケージをインストールし、抱きしめる顔で認証します。

  1. ロードアンドマージ：

    ベースモデルと保存されたアダプターをロードしてから、
    2. 。
  2. を使用してマージします。

    PeftModel.merge_and_unload()保存とプッシュ：

    マージされたモデルとトークン剤を局所的に保存し、それらを抱きしめる顔のハブに押します。

    4. 顔の空間を抱きしめながら量子化

Fine-Tuning Gemma 2 and Using it Locally gguf私のリポジトリを使用して、最適なローカル展開のために、モデルをGGUF形式に簡単に変換して定量化します。

jan

で微調整されたモデルをローカルに使用します

Fine-Tuning Gemma 2 and Using it Locally

JANアプリケーションをダウンロードしてインストールします

hugging hugging face hubから量子化されたモデルをダウンロードします

  1. 1月にモデルをロードし、パラメーター（停止シーケンス、ペナルティ、最大トークン、指示）を調整し、微調整されたモデルと対話します。

    3. 結論

  3. このチュートリアルは、Gemma 2を微調整および展開するための包括的なガイドを提供します。ハードウェアとデータセットに基づいて、ハイパーパラメーターと設定を調整することを忘れないでください。 潜在的により速いトレーニングと推論については、Keras 3を探索することを検討してください。

以上がGemma 2を微調整し、ローカルで使用しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

for format Token using this tensorflow keras pytorch prompt Healthcare Prompt
声明：
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
前の記事：O3-MINIは画像分析のためにO1よりも優れていますか？次の記事：O3-MINIは画像分析のためにO1よりも優れていますか？

関連記事

続きを見る