Bing が GPT-4 を統合している可能性はありますか?これは本当ですか、それとも根拠のない理論ですか?

著者 | Xu Jiecheng

Microsoft New Bing のリリース前、ほとんどの人の予測は、New Bing の全体的なパフォーマンスは ChatGPT と非常に似ているというものでした。 2 つの間の詳細にはいくつかの違いがありますが、エクスペリエンスの観点から、ユーザーはこれらの違いを検出できないはずです。しかし、New Bing のリリースとアップデートにより、Microsoft と OpenAI の間の以前の 100 億ドルの取引が単なる「赤ちゃん」ChatGPT 以外のことに関係しているのではないかと疑う人が増え始めました。

1. Microsoft 公式発表: 新しいモデルの統合

New Bing と ChatGPT は両方ともサポートされていますが、 GPT ベース 3.5 シリーズ モデルは微調整されましたが、2 月中旬、Microsoft は新しい AI 言語モデルを New Bing に統合し、ChatGPT よりも優れたパフォーマンスを実現したと発表しました。 Microsoftは現在に至るまで、新しいAIモデルの出典と関連データを明確に述べていないが、業界関係者の一部は、このモデルはOpenAIが長い間開示していないGPT-4に関連する可能性が高いと推測している。

実は、昨年末の時点で、GPT-4 モデルに関する多数の噂が業界に流出していました。モデルには 100 兆を超えるパラメータが含まれる可能性があり (GPT-3 は 1,750 億)、一部の専門家は、GPT-4 ではコスト管理により注意が払われ、モデル パラメータの数は GPT-3 と比べてあまり変わらないと予測しています。当時の一部の海外メディアの報道によると、GPT-4は2023年2月頃にリリースされるとのこと。OpenAIの最近の業績やCEOのスピーチから判断すると、この情報は正確ではありません。しかし、ニューヨークタイムズの最新ニュースによると、GPT-4モデルは2023年前半にリリースされる可能性が高いとのこと。

また、関連するテスト データは、更新された New Bing 潜在モデルの遅延が ChatGPT よりも低いことも示しています。また、実際の会話パフォーマンスから判断すると、現行の New Bing と ChatGPT には一定の違いがあり、ユーザーとの会話においては、New Bing の方が ChatGPT よりも自然で直感的な状態を示します。しかし、会話の持続性が増すと、New Bing も GPT シリーズ モデルと同様に応答を繰り返す傾向が見られました。

2. 唯一の解決策

ChatGPT のリリース中に、OpenAI はかつて、同社が「GPT などの初期モデルから移行した」と公式ブログに投稿しました。 3 と Codex の展開から学んだ教訓」では、RLHF のハイブリッド モデル (人間のフィードバック信号を使用して言語モデルを直接最適化する) と教師あり学習を使用して ChatGPT をトレーニングすることを選択しました。 OpenAIによると、RLHF方式を利用することで、ChatGPTが悪意のある情報や誤った情報を出力する確率をある程度低減できるという。

しかし、New Bing の観点から見ると、当時の Microsoft は Google Bard との競争のため、New Bing のトレーニング サイクルをスピードアップする必要がありました。 Microsoft による New Bing プロジェクトの立ち上げからリリースまでの 3 か月未満では、完全な RLHF トレーニング チャネルを再構築して統合するには十分ではありませんでした。したがって、Microsoft は New Bing のモデルをトレーニングするときに、引き続き従来の教師あり学習モデルを使用する必要があります。これにより、New Bing はリリース後の性急な開発と初期トレーニングの不足によって引き起こされる精度の問題にも悩まされるようになりました。

関連ニュースによると、Microsoftは現在、New Bingによって生成されたコンテンツの精度の問題をさまざまな方法で解決しようとしており、一定の成果を上げているが、最適化計画には明示されていない。それと New Bing は RLHF モードを使用してモデルを再トレーニングします。これに関して、一部の専門家は、Microsoft が他の AI 言語モデル生成フィルターを統合することにより、New Bing で生成されるコンテンツを最適化する可能性が高いと推測しています。

元 Playment AI 研究者の Khamisi 氏も、自身のブログでこの問題を分析しています。「ChatGPT も、現在公開されているその他のモデルも、悪意のある情報や虚偽の情報の生成を十分に制御できません。Microsoft が望むのであれば、 New Bing での質問と回答の数の制限を解除するには、OpenAI がこの機能を備えたモデルをいくつか提供し、New Bing で使用できるようになるのを待つのが最善の方法ですが、現在、Microsoft はこれをある程度実現したようです。 ."

3. 切り離せない協力段階

さらに、注目に値するもう 1 つの点は、OpenAI と Microsoft の間の協力関係は常に非常に緊密でしたが、 「ChatGPT連携について」以前は、両者の関係は「同じパンツを履く」というレベルには程遠いものでした。これまでのコラボレーションや取引では、データセットやそれぞれのインフラストラクチャに関して、両者は決してオープンではありませんでした。

しかし、ちょうど今年の初めに、マイクロソフトは OpenAI との長期パートナーシップの第 3 フェーズを発表しました。重要な点は次のとおりです。このフェーズでは、Microsoft は、OpenAI 企業とその開発者が Azure を通じて Microsoft の最高の社内 AI インフラストラクチャ、モデル、ツール チェーンにアクセスできるようにします。その後、OpenAI はすぐにモデル データへの投資をさらに増やしました。

海外メディアの報道によると: 1月末以来、OpenAIはデータのラベル付け作業をサンフランシスコのデータ会社に委託し、より正確なデータに頼って一部のAIモデルに対してより優れたコンテンツフィルターを構築しようとしている。 OpenAIの今回の動きは、基本的にはサポートを受けた上でのMicrosoftへの誠意あるサポートの表明と見ることができる。上記の現象を総合すると、Microsoft が GPT-4 モデルを使用する権利を取得し、それを自社の検索エンジンや会話ロボットに統合しようとしている可能性が高いと考える理由が得られます。

4.最後に書きます

いずれにせよ、MicrosoftとOpenAIの連携は深層水域に入り、GPT-4の一般公開は角を曲がったところにあります。 OpenAI が正式リリース前に GPT-4 のより完全なテストを実施したい場合は、膨大なデータとユーザーを持つ兄貴分の Microsoft が間違いなく最良の選択であり、ChatGPT から数え切れないほどの利益を得ている Microsoft がおそらくそうするでしょう。結局のところ、今日の AI 界において、GPT モデルほど資金を引き寄せる能力が高いものはありません。

しかし、GPT-4 モデルに関するこれまでの推測から判断すると、たとえ New Bing が GPT-4 モデルを内部的に統合したとしても、そのモデルは New Bing の既存のモデルの一部にのみ依存するはずです。機能は最適化されており、GPT-4 の革新的な機能は公開されていません。この動きは確かに Microsoft の保守的なスタイルに沿ったものであり、競合他社である Google がつい最近 Bard を通じてそれを実証したばかりであることは言うまでもありません。 「急いで豆腐を食べないでください」という意味ですか？これまでのところ、Microsoft も OpenAI も、New Bing と GPT-4 に関するこれ以上のニュースを外の世界に公開していませんが、現在の開発状況の一部を知って、将来に対するみんなの期待が高まったと思います。

参考リンク:

https://blogs.microsoft.com/blog/microsoftandopenaiextendpartnership/

https://www.nytimes.com /technology/microsoft-ai-chatgpt-bing.html

https://time.com/6247678/openai-chatgpt-kenya-workers/

https://analyticsindiamag.com/ llms/

の見逃せない 13 の研究論文

以上がBing が GPT-4 を統合している可能性はありますか?これは本当ですか、それとも根拠のない理論ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。