OpenAI Quietly Releases GPT-4o Long Output, a New Large Language Model With a Massively Extended Output Size

OpenAI is reportedly eyeing a cash crunch, but that isn’t stopping the preeminent generative AI company from continuing to release a steady stream of new models and updates.

OpenAI has quietly announced a new variation of its GPT-4o large language model, dubbed GPT-4o Long Output. This new model boasts a massively extended output size, capable of generating up to 64,000 tokens of output compared to the original GPT-4o's 4,000 tokens. This marks a 16-fold increase in output capacity.

Tokens, to quickly refresh your memory, are the numerical representations of concepts, grammatical constructions, and combinations of letters and numbers that are organized based on their semantic meaning behind-the-scenes of an LLM.

The word “Hello” is one token, for example, but so too is “hi.” You can see an interactive demo of tokens in action via OpenAI’s Tokenizer here. Machine learning researcher Simon Willison also has a great interactive token encoder/decoder.

This new model is designed to meet customer demand for longer output contexts, with an OpenAI spokesperson telling VentureBeat: “We heard feedback from our customers that they’d like a longer output context. We are always testing new ways we can best serve our customers’ needs.”

The model is currently undergoing an alpha testing phase for a few weeks, during which OpenAI will be gathering data on how effectively the extended output meets user needs.

This enhanced capability is particularly advantageous for applications that require detailed and extensive output, such as code editing and writing improvement. By offering more extended outputs, the GPT-4o model can provide more comprehensive and nuanced responses, which can significantly benefit these use cases.

発売以来、GPT-4o は最大 128,000 のコンテキスト ウィンドウを提供していました。これは、モデルが 1 回の対話で処理できるトークンの量 (入力トークンと出力トークンの両方を含む) です。 GPT-4o ロング出力の場合、この最大コンテキスト ウィンドウは 128,000 のままです。

では、OpenAI はどのようにして、コンテキスト ウィンドウ全体を 128,000 に保ちながら、出力トークンの数を 4,000 トークンから 64,000 トークンに 16 倍に増やすことができるのでしょうか?

この呼び出しは単純な計算に帰着します。5 月のオリジナル GPT-4o には合計 128,000 トークンのコンテキスト ウィンドウがありましたが、その 1 つの出力メッセージは 4,000 に制限されていました。

同様に、新しい GPT-4o ミニ ウィンドウの場合、合計コンテキストは 128,000 ですが、最大出力は 16,000 トークンに増加しました。

つまり、GPT-4o の場合、ユーザーは 1 回の対話で最大 124,000 個のトークンを入力として提供し、モデルから最大 4,000 個の出力を受け取ることができます。また、入力としてより多くのトークンを提供し、出力として受け取るトークンの数を少なくすることもできますが、それでも合計合計最大 128,000 のトークンが追加されます。

GPT-4o mini の場合、ユーザーは最大 16,000 トークンの出力を得るために、入力として最大 112,000 トークンを提供できます。

GPT-4o ロング出力の場合、コンテキスト ウィンドウの合計は依然として 128,000 に制限されています。ただし、現在、ユーザーは最大 64,000 トークンのバックアウトと引き換えに、最大 64,000 トークン相当の入力を提供できます。つまり、その上に構築されたアプリケーションのユーザーまたは開発者が、入力を制限しながら、より長い LLM 応答を優先したい場合です。 .

どのような場合でも、ユーザーまたは開発者は選択またはトレードオフを行う必要があります。合計 128,000 トークンのままで、より長い出力を優先して入力トークンの一部を犠牲にするか?より長い回答を必要とするユーザーのために、GPT-4o ロング出力がオプションとしてこれを提供するようになりました。

新しい GPT-4o ロング出力モデルの価格は次のとおりです:

これを、入力トークン 100 万あたり 5 ドル、出力 100 万あたり 15 ドルである通常の GPT-4o の価格、または入力トークン 100 万あたり 0.15 ドル、出力 100 万あたり 0.60 ドルの新しい GPT-4o mini と比較すると、かなりの価格設定であることがわかります。 OpenAI は、強力な AI を手頃な価格で広範な開発者ユーザーベースにアクセスできるようにしたいという最近の発言を継続し、積極的に取り組んでいます。

現在、この実験モデルへのアクセスは、信頼できるパートナーの小グループに限定されています。広報担当者はさらに、「少数の信頼できるパートナーと数週間にわたってアルファテストを実施し、より長い出力がそのユースケースに役立つかどうかを確認しています。」と付け加えた。

このテスト段階の結果に応じて、OpenAI はより幅広い顧客ベースへのアクセスの拡大を検討する可能性があります。

進行中のアルファ テストは、拡張出力モデルの実際のアプリケーションと潜在的な利点についての貴重な洞察を提供します。

初期グループからのフィードバックの場合

The above is the detailed content of OpenAI Quietly Releases GPT-4o Long Output, a New Large Language Model With a Massively Extended Output Size. For more information, please follow other related articles on the PHP Chinese website!