GPT-4 は、入力長 32000 バージョンの内部テストを開始しました。招待状を受け取りましたか?

Xi Xiaoyao Technology Talk 原文
著者 | Xiaoxi、ZenMoore

GPT-4 の現在の最大の問題は何ですか?おそらく、彼が何もできなかったマシンの一時的な幻覚とは別に、それは入力の長さのスタックによるものでした。 GPT-4 の現在の通常バージョンの約 8000 のコンテキスト長は、一般的な会話や検索のシナリオでは十分すぎるかもしれませんが、GPT-4 の現在の基本バージョンは、コンテンツ生成やインテリジェントな読み取りなどの面でまだ多少限界があります。

ただし、実際には GPT-4 は 32768 個のトークン長をサポートしていることも GPT-4 の記者会見で言及されましたが、まだ完全にはリリースされておらず、順次自動的に更新される予定です。この 2 日間で、32k GPT-4 の夜明けが近づいているようです。多くの GPT-4 ユーザーは、PlayGround で GPT-4 32k オプションをすでに確認できます。

#API では GPT-4-32K

## のモデルを指定してアップグレード版を呼び出すこともできます#ただし、これは一部のユーザー向けの GPT-4 の内部テストである必要があり、待機リストの申請時間に応じて内部テストの割り当てが解放されるべきではありません。内部テストの 32k バージョンを受け取ったユーザーは、 3月16日の順番待ちリストに登録されましたが、同時に参加したものの32kバージョンのロックを解除しなかったユーザーもいます。考えられる理由の 1 つは、クローズド ベータ版を受け取ったユーザーが登録時に 32k GPT-4 に対する大きな関心を強調していたことです。

もちろん、何はともあれ、32k GPT-4 は私たちに近づいているように見えますが、32k GPT-4 はどのような想像力をもたらすでしょうか? 変化についてはどうですか?有効？結局のところ、GPT-4 の 8k バージョンよりも 2 倍高価であり、応答時間が遅くなる可能性があります...

一例としては、会話ロボットが挙げられます。コンテキストの長さが 50 ページに拡張されると、8k ウィンドウからのスライドアウトによって引き起こされる複雑な埋め込みの問題を大幅に回避できます。また、論文や研究報告書などの複雑で大量の情報の抽出・解釈も、現状では構造化された方法で段階的にデータを分割して抽出する必要がありますが、コンテキスト長が32kであるため、こうした手間が一気に解消されます。急降下。もう 1 つの例は、Twitter ブロガーの Matt Shumer によって行われた小規模なテストです。GPT-4 32k にコード サンプルを提供することで、数秒でテスト ケースの完全なセットが完了しました。これはエンジニアリングにも非常に役立ちます。

OpenAI に加えて、さらに長いコンテキスト長を持つ大規模な言語モデルを公開するオープン ソース モデルもあります。これは MPT-7B (別名 Llongboi) と名付けられ、今月 5 日にリリースされました。Llongboi の最大のハイライトは、訓練に 20 万ドルかかりました。64K コンテキストをサポートし、さまざまなシナリオに対応できることです。コンテンツ生成やチャットなど。

ブログ アドレス:

https://www.php.cn/link/894a200a66c2b57205af564d6883882a

プロジェクト リンク:

https ://www.php.cn/link/18fe8ebf5d52c8992581f439ba783aa3

もちろん、オープンソース プロジェクトのパフォーマンスと安定性は GPT-4 に匹敵するものではありません。 GPT-4 のお誘い、近いうちに必ずお会いできると思いますので、「ペースが上がるといいな」と思います！

以上がGPT-4 は、入力長 32000 バージョンの内部テストを開始しました。招待状を受け取りましたか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。