OpenAI が新たにリリースした GPT は非常に強力なので、サーバーがすぐに混雑してしまいます。

誰もが GPT-4 のリリースを心待ちにしている一方で、OpenAI からは未だに前バージョンの修正を続けているというニュースがありません。サンフランシスコに拠点を置く同社は昨日、会話形式で対話する GPT-3 の派生モデルである ChatGPT と呼ばれる新しいモデルをリリースしました。

このダイアログにより、ChatGPT はフォローアップの質問に答え、間違いを認め、間違った前提に異議を唱え、不適切な要求を拒否することができます。これは、でっち上げられ捏造された他の言語モデルとは異なり、例えば、Meta の言語モデルである Gaoptica は、無責任な捏造のため、発売から数日以内に店頭から撤去されました。 ChatGPT の違いは、何について話しているのかわからない場合でも、わからないことを認めることです。さらに、ChatGPT は、答えるように訓練されていない質問には答えることを拒否します。たとえば、2022 年以降に発生した出来事に関する質問には答えようとしません。また、個人に関する質問にも答えません。

このモデルはどの程度賢いのでしょうか?以前は、コードのデバッグという頭の中での作業はプログラマーが行う必要がありましたが、今では ChatGPT がこの単調な作業を引き継ぐことができます。

ユーザーが言った: このコードは期待どおりに実行されません。どのように変更すればよいですか?

ChatGPT: 提供されたコンテキスト情報が少なすぎるため、コードの問題を伝えるのは困難です。コードの内容、コード全体なのか、それともコードの一部なのかなど、コードに関する詳細情報を提供していただけますか?

ユーザー: これはコードの一部です。チャンネルに何か問題があると思います。

ChatGPT: この質問は、コードが何を行うことになっているのか、実行すると何が起こるのかについての詳しい情報がなければ答えるのが困難です。提供された情報によると、コードの潜在的な問題の 1 つは、resultWorkerErr チャネルが決して閉じられていないことです。つまり、resultWorkerErr チャネルに書き込まれないとコードがハングする可能性があります。これは、b.resultWorker がエラーを返さないか、エラーを返す前にキャンセルされた場合に発生する可能性があります。

この問題を解決するには、書き込み後に resultWorkerErr チャネルを閉じることができます。たとえば、エラーをチャネルに送信する行の後に次のコード行を追加できます。

これにより、resultWorkerErr チャネルが確実にb.c retworker がエラーを返さなくても、常に閉じられます。繰り返しになりますが、発生している問題に関する詳しい情報がなければ、これが発生している問題であるかどうかを判断するのは困難です。コードの実行時に何が起こるか詳しく教えていただけますか?

上記は、ChatGPT のバグを修正するプロセスであり、核心に迫っていると言えます。

以下の例では、ChatGPT は後続のコマンドに対する応答を提供します。下の図は、ユーザーが近所の人たちと知り合うために、ChatGPT に短い紹介文を書くように依頼したことを大まかに意味します。ChatGPT は短いテキストの紹介文を提供しましたが、ユーザーはそれが形式的ではないため嫌がりました。親切な ChatGPT が別の公式バージョンを少し考え出しましたが、その後、ユーザーが別のリクエストを出し、ChatGPT にそれを送信するのを手伝ってくれるよう依頼しました。最後にChatGPTは、「申し訳ありませんが、私はテキストベースのAIアシスタントなので、あなたに物理的な手紙を送る能力はありません。私ができるのは、何を書くべきかについての提案だけです。あなたは提案を受け入れて、自分で手紙を送っても構いません。」と答えました。

#これを見たあなたも試してみませんか？はい、このモデルがリリースされると、多くの人が依存症になり、そこから抜け出すことができなくなりました。マスク氏でさえ、「多くの人が、いまいましい ChatGPT ループに陥った」と述べました。 一時は、みんな新たな楽しみを見つけたようで、次々とChatGPTで会話モードを開いていきました。 「コンテキストなしで複雑な正規表現を解釈するよう要求する...」 この問題は非常に難しいですが、ChatGPT を悩ませることはできません。この説明の長さから判断すると、明確に説明する必要があります。

「ChatGPT は優れたデバッグパートナーです。バグを説明するだけでなく、バ​​グを修正し、バグを修正する方法も説明できます。」とネチズンは言いました。

一部のネチズンは信じられない様子で「なんと、ChatGPT は実際に AWS IAM ポリシーを知っているのです。」と言いました。

「ChatGPT は、100 GB のファイルを AWS S3 バケットにアップロードするために数百行の Python コードを生成できます。次の文を書くだけです。「ファイルを AWS S3 にアップロードする Python コードを作成する」バケット (Python コードを作成し、ファイルを AWS S3 バケットにアップロードします)。非常に強力です。お待​​ちください。システムを拡張中です。」

#トライアル アドレス: chat.openai.com

方法

ChatGPT は InstructGPT と同じ方法、つまりヒューマン フィードバック強化学習 (RLHF) でモデルをトレーニングする方法を使用しますが、データ収集の設定が若干異なります。 ChatGPT は、教師付き微調整を使用して初期モデルをトレーニングしました。会話は人間の AI トレーナーによって提供され、ユーザーと AI アシスタントの両方の当事者として機能し、AI トレーナーは、AI トレーナーによって書かれた会話応答にアクセスできました。 AI が応答を調整するのに役立つモデル。

強化学習の報酬モデルを作成するために、この研究では、品質によってランク付けされた 2 つ以上のモデル応答を含む比較データを収集する必要がありました。この研究では、AI トレーナーとチャットボットの間の会話を収集し、モデルによって書かれたメッセージをランダムに選択し、いくつかの代替応答を抽出し、AI トレーナーに応答をランク付けするよう依頼しました。さらに、この研究では、近接ポリシー最適化アルゴリズム (PPO) を使用してモデルを微調整し、プロセス全体を数回繰り返しました。

ChatGPT は、2022 年初頭にトレーニングされた GPT-3.5 シリーズのモデルを微調整しました。 ChatGPT と GPT 3.5 は、Azure AI スーパーコンピューティング インフラストラクチャでトレーニングされました。

制限事項

1. ChatGPT は、合理的であるように見えても、不正確またはばかげている回答を作成することがあります。この問題を解決するのは非常に困難です。理由は次のとおりです。

• RL はトレーニング中に実世界のデータを必要としますが、現時点ではソースがありません;
• モデルが慎重にトレーニングされすぎたため、質問への回答を拒否しましたこれは正しく答えることができます。(3) 理想的には、正しい答えが何かを知っているのは人間のデモンストレーターではなく、モデルであるため、教師ありトレーニングはモデルのパフォーマンスに影響します。
• ChatGPT は、入力文言の調整や同じプロンプトの複数回の試行に敏感です。たとえば、質問が与えられた場合、モデルは答えを知らないと主張できますが、質問を少し言い換えるだけで、モデルは正しく答えることができます。
• モデルの回答は冗長すぎることが多く、OpenAI でトレーニングされた言語モデルであることを繰り返すなど、特定のフレーズが過剰に使用されています。これらの問題は、トレーニング データ (トレーナーはより包括的に見える長い回答を好みます) と過剰な最適化に起因します。
• 理想的には、モデルはユーザーがあいまいなクエリを提供したときに質問しますが、現在 ChatGPT はユーザーの意図を独自に推測します。
• この研究では、モデルが不適切なリクエストを拒否できるように懸命に取り組んできましたが、モデルが有害な指示を返したり、偏った回答を返したりすることがあります。研究チームはモデレーション API を使用してモデルに警告したり、特定の種類の安全でないコンテンツをブロックしたりしており、システムの取り組みをさらに改善するためにユーザーのフィードバックを収集しようとしています。

ChatGPT は、GPT-3 や Codex と比較して、OpenAI がリリースした最新モデルとして、セキュリティと使いやすさの面で多くの改善が加えられ、以前のモデルの利点も吸収されています。ヒューマン フィードバックを伴う強化学習 (RLHF) の使用により、学んだ教訓とモデルの有害で非現実的な出力が大幅に削減されます。

以上がOpenAI が新たにリリースした GPT は非常に強力なので、サーバーがすぐに混雑してしまいます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。