検索
ホームページテクノロジー周辺機器AIラップトップ上で実行できる ChatGPT の代替品がここにあり、完全な技術レポートが添付されています。

GPT4All は、大量のクリーンなアシスタント データ (コード、ストーリー、会話を含む) に基づいてトレーニングされたチャットボットです。データには、GPT-3.5-Turbo で生成された約 800,000 個のデータが含まれています。LLaMa に基づいて完成されており、 M1 Mac、Windows、その他の環境で使用可能。おそらくその名前が示すように、誰もが個人用 GPT を使用できる時代が来たのです。

OpenAI が ChatGPT をリリースして以来、ここ数か月でチャットボットの人気が高まっています。

ChatGPT は強力ですが、OpenAI がそれをオープンソース化することはほぼ不可能です。多くの人が、少し前に Meta によってオープンソース化された LLaMA など、オープンソースに取り組んでいます。 70億から650億の範囲のパラメータ量を持つ一連のモデルの総称であり、その中でも130億パラメータのLLaMAモデルは「ほとんどのベンチマークで」1750億パラメータのGPT-3を上回る性能を発揮します。

LLaMA のオープン ソースは多くの研究者に利益をもたらしています。たとえば、スタンフォード大学は LLaMA に命令チューニングを追加し、Alpaca (LLaMA 7B に基づく) と呼ばれる新しい 70 億パラメータ モデルをトレーニングしました。結果は、パラメータが 7B しかない軽量モデルである Alpaca のパフォーマンスが、GPT-3.5 などの非常に大規模な言語モデルに匹敵することを示しています。

別の例として、次に紹介するモデル GPT4All も、LLaMA に基づく新しい 7B 言語モデルです。プロジェクト開始から 2 日後、スターの数は 7.8k を超えました。

ラップトップ上で実行できる ChatGPT の代替品がここにあり、完全な技術レポートが添付されています。

プロジェクトアドレス: https://github.com/nomic-ai/gpt4all

簡単に言うと、GPT-3.5 では GPT4All は 800k です。ターボ トレーニングは、テキストの質問、ストーリーの説明、複数ラウンドの対話、コードなどのデータに対して実行されます。

プロジェクト表示によると、M1 は Mac、Windows などの環境で実行できます。

ラップトップ上で実行できる ChatGPT の代替品がここにあり、完全な技術レポートが添付されています。

まずは効果を見てみましょう。以下の図に示すように、ユーザーはモデルに「ラップトップで大規模な言語モデルを実行できますか?」と尋ねるなど、何の障壁もなく GPT4All と通信できます。GPT4All の答えは次のとおりです。「はい、ラップトップを使用してトレーニングや学習を行うことができます」ニューラル ネットワークや他の自然言語 (英語や中国語など) の機械学習モデルをテストします。重要なのは、これらのモデルのサイズに対応できる十分な空きメモリ (RAM) が必要であることです..."

次は、分からない場合は、必要なメモリ量を GPT4All に尋ね続けると、答えが得られます。結果から判断すると、複数ラウンドの対話を実行する GPT4All の能力は依然として非常に強力です。

ラップトップ上で実行できる ChatGPT の代替品がここにあり、完全な技術レポートが添付されています。

#M1 Mac でのリアルタイム サンプリング

この研究を「革新的」と呼ぶ人もいます。ルール、GPT4All のおかげで、MacBook 上でローカルに GPT を実行できるようになりました。"

ラップトップ上で実行できる ChatGPT の代替品がここにあり、完全な技術レポートが添付されています。

GPT-4 と同様に、GPT4All も「技術レポート」を提供します。

ラップトップ上で実行できる ChatGPT の代替品がここにあり、完全な技術レポートが添付されています。

技術レポートのアドレス: https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf

この暫定的な技術レポートレポートでは、GPT4All の構築の詳細について簡単に説明します。研究者らは、オープンな研究と再現性を促進するために、収集したデータ、データラングリング手順、トレーニングコード、最終的なモデルの重みを公開し、量子化された 4 ビットバージョンのモデルもリリースしました。

次に、この報告書の内容を見てみましょう。

GPT4All Technical Report

1. データの収集と整理

2023 年 3 月 20 日から 2023 年 3 月 26 日までの期間、研究者は、 GPT-3.5-Turbo OpenAI API を使用して、約 100 万組のプロンプト応答を収集しました。

まず、研究者らは、公開されている 3 つのデータセットを利用して、さまざまな質問/プロンプトのサンプルを収集しました。
  • LAION OIG の統合チップ 2 サブセット
  • Stackoverflow の質問のランダムなサブサンプル セットコーディングの質問
  • 命令チューニング用の Bigscience/P3 サブサンプル セット

スタンフォード大学のアルパカプロジェクト (Taori et al., 2023) を参照すると、研究者たちはデータの準備と編成に多大な注意を払ってきました。プロンプトによって生成されたペアの初期データセットを収集した後、データを Atlas にロードして整理し、GPT-3.5-Turbo がプロンプトに応答できず、不正な出力を生成したサンプルをすべて削除しました。これにより、サンプルの総数が 806,199 個の高品質プロンプト生成ペアに減ります。次に、出力の多様性が非常に低かったため、最終トレーニング データセットから Bigscience/P3 サブセット全体を削除しました。 P3 には、GPT-3.5-Turbo からの短く均一な応答を生成する多くの均一なプロンプトが含​​まれています。

この消去法により、図 2 に示すように、最終的に 437,605 個のプロンプト生成ペアのサブセットが得られました。

ラップトップ上で実行できる ChatGPT の代替品がここにあり、完全な技術レポートが添付されています。

モデル トレーニング

研究者らは、LLaMA 7B のインスタンスで複数のモデルを組み合わせました (Touvron et al., 2023)調整。彼らのオリジナルの公開関連モデルは、4 エポックにわたる 437,605 の後処理された例で LoRA (Hu et al., 2021) を使用してトレーニングされました。詳細なモデルのハイパーパラメーターとトレーニング コードは、関連するリソース ライブラリとモデル トレーニング ログにあります。

再現性

研究者らは、コミュニティが再現できるよう、すべてのデータ (未使用の P3 世代を含む)、トレーニング コード、モデルの重みを公開しました。興味のある研究者は、Git リポジトリで最新のデータ、トレーニングの詳細、チェックポイントを見つけることができます。

コスト

研究者らがこれらのモデルを作成するのに約 4 日かかり、GPU のコストは 800 ドルでした (いくつかの失敗したトレーニングを含め、Lambda Labs と Paperspace から借りました) 、500 ドルの OpenAI API 料金に加えて。

最終リリースモデル gpt4all-lora は、Lambda Labs の DGX A100 8x 80GB で約 8 時間、合計コスト 100 ドルでトレーニングできます。

ラップトップ上で実行できる ChatGPT の代替品がここにあり、完全な技術レポートが添付されています。このモデルは一般的なノートパソコンでも動作し、ネット民の意見では「電気代以外にコストはかからない」とのことです。

#研究者らは、SelfInstruct 論文 (Wang et al., 2022) に記載されている人間の評価データを使用してモデルの予備評価を実施しました。このレポートでは、このモデルのグラウンド トゥルースの複雑性を、最もよく知られている公開されているアルパカ ロラ モデル (huggingface ユーザーchainyo によって提供) と比較しています。彼らは、すべてのモデルが少数のタスクで非常に大きな複雑度を持ち、最大 100 の複雑度を報告したことを発見しました。この収集されたデータセットに基づいて微調整されたモデルは、Alpaca と比較して Self-Instruct 評価における混乱が少ないことが示されました。研究者らは、この評価は網羅的ではなく、さらなる評価の余地がまだあると述べ、読者がローカル CPU 上でモデルを実行し (ドキュメントは Github で入手可能)、その機能を定性的に把握することを歓迎します。

最後に、著者らは、特に整合性と解釈可能性の分野で、オープンな LLM 研究が加速することを期待して、データとトレーニングの詳細を公開していることに注意することが重要です。 GPT4All モデルの重量とデータは研究目的のみに使用されており、商用利用は禁止されています。 GPT4All は、非商用ライセンスを持つ LLaMA に基づいています。アシスタント データは OpenAI の GPT-3.5-Turbo から収集されましたが、その利用規約では OpenAI と商業的に競合するモデルの開発が禁止されています。

以上がラップトップ上で実行できる ChatGPT の代替品がここにあり、完全な技術レポートが添付されています。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
迅速なエンジニアリングにおける思考のグラフは何ですか迅速なエンジニアリングにおける思考のグラフは何ですかApr 13, 2025 am 11:53 AM

導入 迅速なエンジニアリングでは、「思考のグラフ」とは、グラフ理論を使用してAIの推論プロセスを構造化および導く新しいアプローチを指します。しばしば線形sを含む従来の方法とは異なります

Genaiエージェントとの電子メールマーケティングを組織に最適化しますGenaiエージェントとの電子メールマーケティングを組織に最適化しますApr 13, 2025 am 11:44 AM

導入 おめでとう!あなたは成功したビジネスを運営しています。ウェブページ、ソーシャルメディアキャンペーン、ウェビナー、会議、無料リソース、その他のソースを通じて、毎日5000の電子メールIDを収集します。次の明白なステップはです

Apache Pinotによるリアルタイムアプリのパフォーマンス監視Apache Pinotによるリアルタイムアプリのパフォーマンス監視Apr 13, 2025 am 11:40 AM

導入 今日のペースの速いソフトウェア開発環境では、最適なアプリケーションパフォーマンスが重要です。応答時間、エラーレート、リソース利用などのリアルタイムメトリックを監視することで、メインに役立ちます

ChatGptは10億人のユーザーにヒットしますか? 「わずか数週間で2倍になりました」とOpenai CEOは言いますChatGptは10億人のユーザーにヒットしますか? 「わずか数週間で2倍になりました」とOpenai CEOは言いますApr 13, 2025 am 11:23 AM

「ユーザーは何人いますか?」彼は突き出した。 「私たちが最後に言ったのは毎週5億人のアクティブであり、非常に急速に成長していると思います」とアルトマンは答えました。 「わずか数週間で2倍になったと言った」とアンダーソンは続けた。 「私はそのprivと言いました

PIXTRAL -12B:Mistral AI'の最初のマルチモーダルモデル-Analytics VidhyaPIXTRAL -12B:Mistral AI'の最初のマルチモーダルモデル-Analytics VidhyaApr 13, 2025 am 11:20 AM

導入 Mistralは、最初のマルチモーダルモデル、つまりPixtral-12B-2409をリリースしました。このモデルは、Mistralの120億個のパラメーターであるNemo 12bに基づいて構築されています。このモデルを際立たせるものは何ですか?これで、画像とTexの両方を採用できます

生成AIアプリケーションのエージェントフレームワーク - 分析Vidhya生成AIアプリケーションのエージェントフレームワーク - 分析VidhyaApr 13, 2025 am 11:13 AM

クエリに応答するだけでなく、情報を自律的に収集し、タスクを実行し、テキスト、画像、コードなどの複数のタイプのデータを処理するAIを搭載したアシスタントがいることを想像してください。未来的に聞こえますか?これでa

金融セクターにおける生成AIの応用金融セクターにおける生成AIの応用Apr 13, 2025 am 11:12 AM

導入 金融業界は、効率的な取引と信用の可用性を促進することにより経済成長を促進するため、あらゆる国の発展の基礎となっています。取引の容易さとクレジット

オンライン学習とパッシブアグレッシブアルゴリズムのガイドオンライン学習とパッシブアグレッシブアルゴリズムのガイドApr 13, 2025 am 11:09 AM

導入 データは、ソーシャルメディア、金融取引、eコマースプラットフォームなどのソースから前例のないレートで生成されています。この連続的な情報ストリームを処理することは課題ですが、

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

SublimeText3 Linux 新バージョン

SublimeText3 Linux 新バージョン

SublimeText3 Linux 最新バージョン

Dreamweaver Mac版

Dreamweaver Mac版

ビジュアル Web 開発ツール

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

mPDF

mPDF

mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

VSCode Windows 64 ビットのダウンロード

VSCode Windows 64 ビットのダウンロード

Microsoft によって発売された無料で強力な IDE エディター