簡単な分析: ChatGPT アプリケーションの基礎となる原理

ChatGPT は間違いなく最近インターネット上で最もハンサムな男です。この期間の使用といくつかの情報のレビューを通じて、Xiao Wang はその背後にある原理の一部を学び、ChatGPT アプリケーションの基礎となる原理を説明しようとしました。不正確な点がございましたら、修正してください。

この記事を読むと、次の疑問が解決するかもしれません:

ChatGPT によって課金されるものと課金されないものがあるのはなぜですか?

ChatGPT はなぜ単語ごとに応答するのでしょうか?

中国語の質問に対する答えが時々人々を笑わせるのはなぜですか?

なぜ今日は何日かと尋ねると、その答えは過去のことになるのでしょうか?

いくつかの質問に答えないのはなぜですか?

「ChatGPT 国内版」の動作原理

ChatGPT の人気に伴い、多くの国内版が登場しています。このバージョンは無料で使用できます。回数やその後のチャージ方法が異なります。シャオ・ワン兄弟はスケッチを描き、理解を助けようと努めました。

#【方法1の場合】：アカウント登録後、オンライン上で科学的に利用することができ、現時点では回数制限はありません。登録費用については前回の記事を参照してください。

[方法2の場合]: 科学的にはインターネットにアクセスする必要がないことが分かりますが、利用料金は「国内版ChatGPT」運営者のサービスを購入することなので、利用料金はかかりません。も異なります。

ChatGPT は内部的にどのように動作しますか?

まず、OpenAI は、2022 年 11 月 30 日に新しい会話型アシスタントを開始しました。チャットボットは、言語モデル (大規模言語モデルの LLM) GPT-3、より正確にはバージョン 3.5 に基づいています。 ChatGPT は実際には InstructGPT を改良したもので、2022 年 1 月にリリースされましたが、当時は同じ印象を与えませんでした。

以前のバージョンと比較して、ChatGPT の何がそんなに優れているのでしょうか?

人間のようなテキストを自動的に生成する機能と、Microsoft の Tay や Meta の Gaoptica などの前任者の欠点を回避しながら会話のコンテキストを考慮する機能のおかげです。テイさんは24時間以内に人種差別主義者で外国人排斥をするようになった。ギャラクティカはナンセンスや誤った情報を生み出しており、人種差別について非常に雄弁に語ることができます。 Tay は 24 時間以内に閉鎖され、Galaxy は 3 日後に閉鎖されました。 OpenAIはMicrosoftとMetaの失敗から学んだようだ。短期間のうちに、このシステムは前例のないレベルにまで押し上げられました。

GPT-3 とは何ですか?

GPT (Generative Pre-trained Transformer) シリーズのモデルは、Transformer テクノロジーに基づいた言語モデルで構成されています。サンフランシスコに拠点を置く企業OpenAIによって開発されました。 OpenAIは、イーロン・マスク（テスラ電気自動車の社長）とインキュベーターY Combinator（Scribd、Reddit、Airbnb、Dropbox、GitLab、Women Who Codeなど）の前身社長であるアメリカ人実業家サム・アルトマンによって2015年12月に設立された。 ) を務め、2020 年から OpenAI 取締役会の会長を務めています。

2020 年、GPT-3 はこれまでに構築された最大の言語モデルとなり、パラメーターは 1,750 億個になりました。非常に大きいため、トレーニングするには 800 GB のメモリが必要です。

LLM は通常、さまざまな言語やドメインの多数のサンプル テキストから生成されます。 GPT-3 は、Common Crawl、WebText2、Books1/2、Wikipedia からの数千億の英単語でトレーニングされています (Xiao Wangge 氏は、これが私たちが中国語で質問する理由だと考えており、中国語で答えられることもあります。私たちは笑い、泣きます)。また、CSS、JSX、Python などでコーディングされたプログラミング例を使用してトレーニングされます。 2048 個のトークンを入力として受け入れるため、約 1,500 単語の非常に長い文を処理できます (OpenAI はトークンを約 4 文字の単語の一部とみなし、約 750 単語を表す 1,000 個のトークンの例を使用します)。

GPT-3 は生成モデルとして分類されます。つまり、主に入力文の終わりにある次のトークン、つまり次の単語を予測するようにトレーニングされます (これが理由でもあります)画面上に が単語ごとに表示されます)。検索エンジンや Outlook に搭載されているオートコンプリート メカニズム。

GPT-3 は、ジャーナリストや著者の能力に非常に近いテキストを生成する能力があるとして何度も引用されています。文の先頭に入力するだけで、段落や記事の残りの部分を一語一語補完します。さらに言えば、このモデルは、翻訳、質問への回答、テキスト内の欠落した単語の補充など、幅広い言語処理タスクを処理できる能力を実証しました。

GPT-3.5 は GPT-3 モデルのバリアントです。 2021 年第 4 四半期まで、選択したテキストとコードを組み合わせてトレーニングされてきました。これは、ChatGPT がその日付以降の事実を呼び出すことができない理由を説明しています。 (これは、今日は何日かと尋ねると、答えが過去である理由を説明しています)。

質問によっては回答を拒否することもありますか?

私たちが非倫理的な質問をすると、次のように答えを拒否します。

それは丁重に拒否します。答える。 Tay や Gaoptica とは異なり、ChatGPT のトレーニングはモデレーション API を使用してソースでモデレートされ、トレーニング中に不適切なリクエストを延期できます。それにもかかわらず、偽陽性と偽陰性が依然として発生する可能性があり、過剰な管理につながる可能性があります。 Moderation API は、暴力、自傷行為、憎悪、ハラスメント、セクシュアリティのカテゴリに基づいて GPT モデルによって実行される分類モデルです。これを行うために、OpenAI は、特に十分なデータがない場合に、匿名化されたデータと合成データ (ゼロサンプル) を使用します。

最後に

ChatGPTの実際の会話をシミュレートする能力は並外れたものです。たとえそれが機械であり、アルゴリズムであるとわかっていても、私たちは機械にあまりにも多くの質問をするというゲームに巻き込まれるだけで、その膨大な知識によって機械が神聖なもののように見えてしまいます。

しかし、よく見てみると、やはり人間らしい理解や自己批判のない文章生成器です。次に何が起こるのか、このタイプのアーキテクチャでどれだけ成功するのか、さらに興味があります。

参照:

モデル インデックス: https://beta.openai.com/docs/model-index-for-researchers

InstructGPT: https://openai. com/blog/instruction-following/

ChatGPT: https://openai.com/blog/chatgpt/

BLOOM: https://bigscience.huggingface.co/blog/bloom

Y コンビネーター: https://fr.wikipedia.org/wiki/Y_Combinator

以上が簡単な分析: ChatGPT アプリケーションの基礎となる原理の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。