GPT4All は、大量のクリーンなアシスタント データ (コード、ストーリー、会話を含む) に基づいてトレーニングされたチャットボットです。データには、GPT-3.5-Turbo で生成された約 800,000 個のデータが含まれています。LLaMa に基づいて完成されており、 M1 Mac、Windows、その他の環境で使用可能。おそらくその名前が示すように、誰もが個人用 GPT を使用できる時代が来たのです。
OpenAI が ChatGPT をリリースして以来、ここ数か月でチャットボットの人気が高まっています。
ChatGPT は強力ですが、OpenAI がそれをオープンソース化することはほぼ不可能です。多くの人が、少し前に Meta によってオープンソース化された LLaMA など、オープンソースに取り組んでいます。 70億から650億の範囲のパラメータ量を持つ一連のモデルの総称であり、その中でも130億パラメータのLLaMAモデルは「ほとんどのベンチマークで」1750億パラメータのGPT-3を上回る性能を発揮します。
LLaMA のオープン ソースは多くの研究者に利益をもたらしています。たとえば、スタンフォード大学は LLaMA に命令チューニングを追加し、Alpaca (LLaMA 7B に基づく) と呼ばれる新しい 70 億パラメータ モデルをトレーニングしました。結果は、パラメータが 7B しかない軽量モデルである Alpaca のパフォーマンスが、GPT-3.5 などの非常に大規模な言語モデルに匹敵することを示しています。
別の例として、次に紹介するモデル GPT4All も、LLaMA に基づく新しい 7B 言語モデルです。プロジェクト開始から 2 日後、スターの数は 7.8k を超えました。
プロジェクトアドレス: https://github.com/nomic-ai/gpt4all
簡単に言うと、GPT-3.5 では GPT4All は 800k です。ターボ トレーニングは、テキストの質問、ストーリーの説明、複数ラウンドの対話、コードなどのデータに対して実行されます。
プロジェクト表示によると、M1 は Mac、Windows などの環境で実行できます。
まずは効果を見てみましょう。以下の図に示すように、ユーザーはモデルに「ラップトップで大規模な言語モデルを実行できますか?」と尋ねるなど、何の障壁もなく GPT4All と通信できます。GPT4All の答えは次のとおりです。「はい、ラップトップを使用してトレーニングや学習を行うことができます」ニューラル ネットワークや他の自然言語 (英語や中国語など) の機械学習モデルをテストします。重要なのは、これらのモデルのサイズに対応できる十分な空きメモリ (RAM) が必要であることです..."
次は、分からない場合は、必要なメモリ量を GPT4All に尋ね続けると、答えが得られます。結果から判断すると、複数ラウンドの対話を実行する GPT4All の能力は依然として非常に強力です。
#M1 Mac でのリアルタイム サンプリング
この研究を「革新的」と呼ぶ人もいます。ルール、GPT4All のおかげで、MacBook 上でローカルに GPT を実行できるようになりました。"1. データの収集と整理
2023 年 3 月 20 日から 2023 年 3 月 26 日までの期間、研究者は、 GPT-3.5-Turbo OpenAI API を使用して、約 100 万組のプロンプト応答を収集しました。 まず、研究者らは、公開されている 3 つのデータセットを利用して、さまざまな質問/プロンプトのサンプルを収集しました。- LAION OIG の統合チップ 2 サブセット
- Stackoverflow の質問のランダムなサブサンプル セットコーディングの質問
- 命令チューニング用の Bigscience/P3 サブサンプル セット
スタンフォード大学のアルパカプロジェクト (Taori et al., 2023) を参照すると、研究者たちはデータの準備と編成に多大な注意を払ってきました。プロンプトによって生成されたペアの初期データセットを収集した後、データを Atlas にロードして整理し、GPT-3.5-Turbo がプロンプトに応答できず、不正な出力を生成したサンプルをすべて削除しました。これにより、サンプルの総数が 806,199 個の高品質プロンプト生成ペアに減ります。次に、出力の多様性が非常に低かったため、最終トレーニング データセットから Bigscience/P3 サブセット全体を削除しました。 P3 には、GPT-3.5-Turbo からの短く均一な応答を生成する多くの均一なプロンプトが含まれています。
この消去法により、図 2 に示すように、最終的に 437,605 個のプロンプト生成ペアのサブセットが得られました。
モデル トレーニング
研究者らは、LLaMA 7B のインスタンスで複数のモデルを組み合わせました (Touvron et al., 2023)調整。彼らのオリジナルの公開関連モデルは、4 エポックにわたる 437,605 の後処理された例で LoRA (Hu et al., 2021) を使用してトレーニングされました。詳細なモデルのハイパーパラメーターとトレーニング コードは、関連するリソース ライブラリとモデル トレーニング ログにあります。
再現性
研究者らは、コミュニティが再現できるよう、すべてのデータ (未使用の P3 世代を含む)、トレーニング コード、モデルの重みを公開しました。興味のある研究者は、Git リポジトリで最新のデータ、トレーニングの詳細、チェックポイントを見つけることができます。
コスト
研究者らがこれらのモデルを作成するのに約 4 日かかり、GPU のコストは 800 ドルでした (いくつかの失敗したトレーニングを含め、Lambda Labs と Paperspace から借りました) 、500 ドルの OpenAI API 料金に加えて。
最終リリースモデル gpt4all-lora は、Lambda Labs の DGX A100 8x 80GB で約 8 時間、合計コスト 100 ドルでトレーニングできます。
このモデルは一般的なノートパソコンでも動作し、ネット民の意見では「電気代以外にコストはかからない」とのことです。
以上がラップトップ上で実行できる ChatGPT の代替品がここにあり、完全な技術レポートが添付されています。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

大規模な言語モデル(LLM)は人気が急増しており、ツールコール機能は単純なテキスト生成を超えて機能を劇的に拡大しています。 これで、LLMSは動的なUI作成や自律的なaなどの複雑な自動化タスクを処理できます。

ビデオゲームは不安を緩和したり、ADHDの子供を焦点を合わせたり、サポートしたりできますか? ヘルスケアの課題が世界的に急増しているため、特に若者の間では、イノベーターはありそうもないツールであるビデオゲームに目を向けています。現在、世界最大のエンターテイメントインダスの1つです

「歴史は、技術の進歩が経済成長を促進する一方で、それ自体が公平な所得分布を確保したり、包括的な人間開発を促進したりしないことを示しています」とUNCTADの事務総長であるRebeca Grynspanは前文で書いています。

簡単な、Generative AIを交渉の家庭教師およびスパーリングパートナーとして使用してください。 それについて話しましょう。 革新的なAIブレークスルーのこの分析は、最新のAIに関する私の進行中のフォーブス列のカバレッジの一部であり、特定と説明を含む

バンクーバーで開催されたTED2025会議は、昨日4月11日の第36版を締めくくりました。サム・アルトマン、エリック・シュミット、パーマー・ラッキーを含む60か国以上の80人の講演者が登場しました。テッドのテーマ「人類が再考された」は、仕立てられたものでした

ジョセフ・スティグリッツは、2001年にノーベル経済賞を受賞した経済学者であり、2001年にノーベル経済賞を受賞しています。スティグリッツは、AIが既存の不平等を悪化させ、いくつかの支配的な企業の手に統合した力を悪化させ、最終的に経済を損なうと仮定しています。

グラフデータベース:関係を通じてデータ管理に革命をもたらす データが拡大し、その特性がさまざまなフィールドで進化するにつれて、グラフデータベースは、相互接続されたデータを管理するための変換ソリューションとして浮上しています。伝統とは異なり

大規模な言語モデル(LLM)ルーティング:インテリジェントタスク分布によるパフォーマンスの最適 LLMSの急速に進化する風景は、それぞれが独自の長所と短所を備えた多様なモデルを提供します。 創造的なコンテンツGenに優れている人もいます


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

AtomエディタMac版ダウンロード
最も人気のあるオープンソースエディター

ZendStudio 13.5.1 Mac
強力な PHP 統合開発環境

Safe Exam Browser
Safe Exam Browser は、オンライン試験を安全に受験するための安全なブラウザ環境です。このソフトウェアは、あらゆるコンピュータを安全なワークステーションに変えます。あらゆるユーティリティへのアクセスを制御し、学生が無許可のリソースを使用するのを防ぎます。

EditPlus 中国語クラック版
サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

ドリームウィーバー CS6
ビジュアル Web 開発ツール
