デバイスでAlpaca-Loraを実行する方法

生成的AIは引き続き人気があるため、世界中の開発者は自然言語を使用してエキサイティングなアプリケーションを構築する機会をつかみました。最近、ChatGptと呼ばれるツールが特に印象的でした。

ChatGptは、Openaiによって開発された言語モデルであり、人間のような会話が可能なAI駆動のチャットボットとして機能します。それは非常に便利なツールですが、問題がないわけではありません。 ChatGPTはオープンソースではありません。つまり、ソースコードはアクセスできず、変更できません。また、非常にリソースが集中しているため、独自の実装の構築が悪いソリューションになります。

これらの問題は、Alpaca-Loraなど、ChatGPTのように実行できるが、オープンソースライセンスがあり、リソース要件が少ないなど、ChatGPTのさまざまな代替品を生み出しています。

このチュートリアルでは、Alpaca-Loraに焦点を当てます。それが何であるか、デバイスでそれを実行するために必要な前提条件、およびそれを実行するための手順をカバーします。

アルパカロラとは何ですか？

2023年3月上旬、エリック・J・ワンはアルパカ・ロラプロジェクトをリリースしました。これは、パラメーター効率的なFine Tweak（PEFT）を使用してStandford Alpacaの結果を再現するためのコードを含むプロジェクトです。

大規模な言語モデルのための低ランク適応（LORA）は、メモリ消費を削減しながら大規模なモデルトレーニングプロセスを加速するために使用される方法です。

次のように機能します：

既存の重量を凍結
• 。モデルは、相互接続されたノードの複雑なネットワーク（それらは「重み」です）と考えてください。通常、トレーニング中にこれらすべてのノードを調整して、モデルを改善します。 「これらに触れないでください。それをそのままにしておきましょう。」
新しい重量を追加
• 。その後、Loraはこのネットワークにいくつかの新しいシンプルな接続（新しい重み）を追加します。
新しいウェイトのみをトレーニングします
• 。複雑なネットワーク全体を調整する代わりに、これらの新しいシンプルな接続の改善に焦点を当てます。 これを行うことにより、モデルをタスクのパフォーマンスを向上させながら、時間とコンピューターのメモリを節約できます。

lora

の利点

ロラの利点は次のとおりです

送話性

- ランク分解重量マトリックスには、元のモデルよりもはるかに少ないトレーニング可能なパラメーターが含まれています。

• アクセシビリティ - LORAは、従来の微調整と比較してGPUメモリの使用量を大幅に削減することが示されています。
• alpaca：オープンソースモデル 一方、Alpacaは、大規模な言語モデルMeta AI（LLAMA）に基づいたオープンソース命令AI言語モデルです。スタンフォード大学の研究者チームによって開発され、大規模な言語モデル（LLM）をよりアクセスしやすくしました。

これはアルパカ・ロラにつながります。

Alpaca-Loraモデルは、LORAを使用してメモリを減らしながらトレーニングプロセスをスピードアップするスタンフォードアルパカモデルのリソースを消費するバージョンではありません。

alpaca-loraの前提条件

Alpaca-Loraモデルをローカルに実行するには、GPUが必要です。 NVIDIA T4などの低スペックGPU、または4090のような消費者グレードGPUです。プロジェクトの作成者であるエリック・J・ワンによると、モデルは「RTX 4090で実行するのに数時間かかります。」

**注：この記事の指示は、Alpaca-LoraコードベースのEric J. Wangが提供する指示に従っています。 *

4つのステップでAlpaca-Loraを実行する方法

ステップ1：仮想環境を作成（オプション）

仮想環境は、特定のプロジェクトで必要なPython関連の依存関係を保存するための孤立した容器です。これにより、さまざまなプロジェクトに必要な依存関係を分離し、プロジェクトの共有を容易にし、依存関係の競合を軽減できます。

それを使用してAlpaca-Loraモデルを実行することは必須ではありませんが、推奨されます。

Windowsオペレーティングシステムのコマンドプロンプトで仮想環境を作成するには、次のコマンドを実行します。

これにより、現在の作業ディレクトリにVenvと呼ばれる仮想環境が作成されます。

<code>py -m venv venv</code>

**

注：

2番目のVENVを、お好みの名前に必要な名前に置き換えることができます。 * 依存関係をインストールする前に、仮想環境をアクティブにする必要があります。次のコマンドを実行して、仮想環境をアクティブにします。

仮想環境を使用しなくなったら、次のコマンドを実行して無効にします。

<code>venv\Scripts\activate.bat</code>

これで、Alpaca-Loraの実行を開始できます。

ステップ2：

<code>deactivate</code>

を設定します

Alpaca-Loraモデルを実行する最初のステップは、GitHubからコードベースをクローンし、実行に必要な依存関係をインストールすることです。

次のコマンドでgithubコードベースをインストールします。

次に、次のコマンドを使用して、インストールしたばかりのAlpaca-Loraコードベースに移動します。

>次のコマンドを実行して、依存関係をインストールします。

ステップ3：モデルを微調整します（オプション）

<code>git clone https://github.com/tloen/alpaca-lora.git</code>

Alpaca-Loraコードベースには、Finetune.pyという名前のファイルが含まれています。 Finetune.pyには、ラマモデルに適用されるパラメーター効率的な微調整（PEFT）の簡単なアプリケーションが含まれています。

<code>cd alpaca-lora</code>

モデルのハイパーパラメーターを調整する場合は、このファイルを実行する必要がありますが、これは必須の要件ではありません。コードベースの著者によると、「ハイパーパラメーターの調整は必要ありません。LORAモデルは、スタンフォードアルパカモデルに匹敵する出力を生成します。さらなるチューニングはパフォーマンスを向上させる可能性があります...」

以下は、Finetune.pyファイルの使用方法の例です。

<code>pip install -r requirements.txt</code>

ステップ4：モデル/推論を実行

Alpaca-Loraコードベースには、Generate.pyというファイルもあります。実行generate.pyは次のことを行います：

• Face Model Centerを抱き締める基本モデルを読んでください
からモデルの重みを読みます 指定された入力で推論が実行されるグレーディオインターフェイスを起動します。

執筆時点では、モデルのトレーニングに使用される最新のAlpaca-LoraアダプターはAlpaca-Lora-7Bです。これは、2023年3月26日に次のコマンドで行われました。

別のアダプターを使用する場合は、優先アダプターターゲットへのリンクを備えたGenerate.pyファイルを実行して実行できます。

<code>py -m venv venv</code>

要約

<code>venv\Scripts\activate.bat</code>

Alpaca-Loraは、スタンフォードアルパカモデルのリソースを消費するバージョンです。これは、元のAlpacaモデルよりも少ないメモリを消費しながら、トレーニングプロセスをスピードアップする大規模な言語モデルの低ランク適応（LORA）を活用することでこれを達成します。

大規模な言語モデル（LLMS）と生成AIの詳細については、次のチュートリアルをご覧ください。

メタアイラマの紹介

PytorchでLLMをトレーニングする方法：ステップバイステップガイド

以上がデバイスでAlpaca-Loraを実行する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。