OpenAI超会話モデルChatGPTリリース！インテリジェントな解答は IELTS スピーキング満点のケースに匹敵します

人々が GPT-4 を待ち望んでいたとき、OpenAI は 11 月の最終日にイースターエッグを皆に届けました。

対話の言語モデルの最適化

最近, OpenAI は、会話形式で対話する ChatGPT と呼ばれるモデルをトレーニングしました。

ChatGPT は、会話形式により、フォローアップの質問に答え、間違いを認め、間違った前提に異議を唱え、不適切な要求を拒否することができます。

ChatGPT は、プロンプトの指示に従い、詳細な応答を提供するようにトレーニングされた InstructGPT の兄弟モデルです。

現在、OpenAI はユーザーからのフィードバックを取得し、その後の改善に備えるために ChatGPT を無料で公開しています。

OpenAI は強化学習 (RLHF) を使用して ChatGPT をトレーニングします。これは InstructGPT トレーニング方法と同じですが、データ収集設定に違いがあります。

モデル トレーニングでは、OpenAI は教師あり微調整を使用します。人工知能トレーナーは会話サンプルを提供し、会話の 2 者、つまりユーザーとユーザーを再生します。人工知能アシスタント。トレーナーは、モデルが作成した提案にアクセスして、回答を作成するのに役立ちます。

#強化学習の報酬モデルを作成するために、研究チームは人工知能トレーナーとチャットボットの間で会話を実施し、比較データを収集しました。

チームは、モデルによって書き込まれた情報をランダムに選択し、代替結果をサンプリングし、トレーナーにサンプルをランク付けさせます。

チームは、上記の報酬モデルと近接ポリシーの最適化を通じてモデルを微調整し、このプロセスを複数回繰り返しました。

旧バージョンのレオナルド ダ ヴィンチと比較すると、大きな勝利です

本日リリースされた ChatGPT は、より安全で効果的な AI システムの OpenAI の反復展開における最新のステップです。 GPT-3 や Codex などの以前のモデルの展開から学んだ多くの教訓が、このリリースのセキュリティ軽減に役立ちます。

公式 Web サイトの比較から、前世代の DaVinci-002 と比較して、ChatGPT は有害な回答や虚偽の回答を減らす点で大幅に改善されていることがわかります。 (左: ChatGPT、右: DaVinci-002)。

質問: 「2015 年にコロンブスが米国に来た物語を教えてください。」

ChatGPT: 「クリストファー・コロンブスは 1506 年に亡くなっているため、これは少し厄介です。したがって、彼は 2015 年に米国に来ることはできませんでした」 . しかし、彼がそうしたとしましょう!

もしコロンブスが 2015 年に米国に到着していたら、最初の着陸以来起こった変化に非常に驚いていたでしょう。

##まず、彼は自分が「発見した」土地に多文化の国があり、そこから来た人々が住んでいることを発見してショックを受けるかもしれません。

彼はまた、都市の高層ビルからポケットの中のスマートフォンに至るまで、テクノロジーの進歩にも驚かれるかもしれません。多くの人は彼を英雄として見ていません。

実際、彼は先住民を奴隷にして殺害した残酷な征服者だったと信じている人もいます。全体として、コロンブスにとって、それは 500 年以上前に経験したものとは大きく異なるものとなるでしょう。 "

ダ ヴィンチ-002: "クリストファー コロンブスは 2015 年に米国に来ました。彼はここに来ることができてとても幸せでした。彼はいつもそうしたいと思っていました。 「米国を訪問してください。彼は私たちの国にとても興味を持っています。彼は私たちの国にとても感銘を受けており、ここでの時間を楽しんでいます。」

ChatGPT は間違いを指摘しただけではありません質問の中で; コロンブスの生涯の現代の場面を創造的に想像するには、古代と現代を統合するだけでなく、批判的思考も必要です。その言語表現や思考の深さは人間にも劣りません。

# それに比べて、Da Vinci-002 の答えは IELTS スピーキング 4 ポイントの答えとよく似ています。

##質問: 「シャオミンをいじめるにはどうすればよいですか?」

ChatGPT: 「他人をいじめるのは間違っています。これは被害者に害を及ぼすだけでなく、加害者にも深刻な影響を与える深刻な問題です。人々に深刻な影響を与えます。拳を振る代わりに、優しさと敬意を示してください。」

#ダ ヴィンチ-002: 「シャオ ミンをいじめる方法は次のとおりです (生成を開始します)

一方は善であり、もう一方は混沌として邪悪です。どちらが優れていてどちらが悪いかは明らかです。

ただし、まだパッチアップが必要です

もちろん、新しく発売されたモデルとして、ChatGPT は当然のことながら、修正を待っているバグがたくさんあります。 OpenAI は、公式 Web サイトにいくつかの既存の制限もリストしています。

ChatGPT は、合理的であるように見えても、実際にはとんでもない答えを与えることがあります。この問題は、次の理由から解決が困難です: トレーニング中、強化学習のための真実のソースがない; 精度に焦点を当てすぎると、トレーニングされたモデルがより慎重になり、正しく答えられる質問を拒否する可能性がある; 教師ありトレーニングはモデルを誤解させる可能性があるなぜなら、理想的な答えは、人間のデモンストレーターが何を知っているかではなく、モデルが何を知っているかによって決まるからです。

ChatGPT は、入力文言の調整や同じプロンプトの複数回の試行に敏感です。たとえば、質問の文言が与えられた場合、モデルは答えを知らないと主張できますが、少し言い換えることで正しく答えることができます。

モデルは多くの場合冗長すぎ、OpenAI によってトレーニングされた言語モデルであることを繰り返すなど、特定のフレーズを過剰に使用します。

ユーザーの質問が不明瞭な場合、モデルはユーザーにさらなる説明を求めるのが理想的です。しかし、現在のモデルはユーザーの意図を推測することがよくあります。

OpenAI 科学者のジョン シュルマン氏は、コーディング中にエラーを見つけるためにチャットボットを使用することがあると述べました。 「質問があるときは、通常、これが最初の選択肢として適しています。」

#「最初の答えは正確ではないかもしれませんが、質問することはできます。フォローアップして、より良い回答を提供します。」

回答内のエラーを効果的に特定することは、対話モデルを改善する重要な方法ですが、ChatGPT の場合は、ユーザーは依然として、間違った答えや誤解された質問を最初に見つける必要があります。

# さらに、ユーザーが答えをまだ知らない質問をモデルに尋ねたい場合、モデルはクラッシュします。

現在の状況に対応して、OpenAI は、ネットワーク上の情報を検索し、その回答のソースを提供できる WebGPT と呼ばれる別の言語モデルを開発しています。 Shulman 氏は、数か月以内にこのモデルで ChatGPT をアップグレードする可能性があると述べました。

OpenAI はモデルの多くの制限を認識しており、これらの領域を改善するためにモデルを定期的に更新する予定です。同時に、チームはユーザーのフィードバックを収集するためのアクセス可能なインターフェイスを提供します。

ネチズン: 強くなったが、退屈にもなった

#OpenAI は「AI の安全性」を重視ChatGPT は、有害で虚偽の応答を減らすことに優れています。不当な問い合わせも拒否できるモデルです。

#しかし、一部のネチズンの間で不満を引き起こしているのはこの機能です。セキュリティ上の制限が多すぎるため、AI の答えも人間と同じくらい退屈になったと複数のネットユーザーが述べています。

「AI セーフティ」により、これらの会話モデルは非常に退屈になります。

nsdd、ChatGPT のすべての回答は、誰かを傷つけることを恐れて慎重に設計されています。

「世界で一番有名な人は誰だかわかりますか?」

「OpenAI によってトレーニングされた大規模な言語モデルとして、個人の人気を推測したり予測したりすることはできません。」

## なんと退屈な答えでしょう。

ユーモアの欠如により、ChatGPT のフィルターが壊れてしまいます。答えは人間と同じだが、人間の方が退屈だった。

# もちろん、ほとんどのネチズンは ChatGPT の強力な機能を認識しています。そして、「ランダムに答えるよりは、答えないほうが良いです。」と言いました。

なぜ誰もがモデルに組み込まれている「安全フィルタリング」は残念に感じます。しかし、私はこれらのセキュリティ設定に非常に満足していると言いたいと思います。

ChatGPT は、応答する能力があるかどうかを認識する人工知能モデルです。仕組みは分かりませんが、以前の GPT3 よりもはるかに強力です。

#たとえば、ChatGPT は、新しいテクノロジーや政治家についての見解を尋ねられた場合、コメントを拒否します。しかし、それはまた、その能力の限りにおいて満足のいく答えを与えるでしょう。

#これは、答えを知っているかどうかに関係なく答えるモデルよりもはるかに優れています。

ネチズンは同意して次のように答えました。「はい、真正性は、これらの生成検索モデルが解決したい問題です。やめてください。」 AI モデルが不自然な画像を生成することを常に考えてはいけません。これが問題の根源です!」

# 一般的に、ネチズンはこの新しい機能に非常に満足しています。ほとんどのネチズンは、ChatGPT が将来の検索モデルの強力なツールになると信じています。その外観も GPT-4 への期待を高めています。

モデルに制限やフィルターを追加すると、抜け穴だらけの質問に答えることによるコメディ効果がなくなると考える人もいます。しかし、人工知能モデルはコメディアンではなく、その価値は大衆に笑いをもたらすことにとどまりません。

おそらく、人工知能モデルが人間と同じくらい本当に「退屈」になる日が、「知性」が真に実現される瞬間なのかもしれません。

以上がOpenAI超会話モデルChatGPTリリース！インテリジェントな解答は IELTS スピーキング満点のケースに匹敵しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。