OpenAI Senyap-Senyap Keluarkan Output Panjang GPT-4o, Model Bahasa Baharu yang Besar Dengan Saiz Output Diperluas Secara Besar-besaran

OpenAI dilaporkan mengintai masalah tunai, tetapi itu tidak menghalang syarikat AI generatif terkemuka daripada terus mengeluarkan aliran model dan kemas kini baharu yang mantap.

OpenAI secara senyap-senyap telah mengumumkan variasi baharu model bahasa besar GPT-4onya, yang digelar GPT-4o Long Output. Model baharu ini mempunyai saiz keluaran yang diperluaskan secara besar-besaran, mampu menjana sehingga 64,000 token output berbanding 4,000 token GPT-4o asal. Ini menandakan peningkatan 16 kali ganda dalam kapasiti keluaran.

Token, untuk menyegarkan semula ingatan anda dengan cepat, ialah perwakilan berangka bagi konsep, pembinaan tatabahasa dan gabungan huruf dan nombor yang disusun berdasarkan makna semantiknya di sebalik tabir LLM.

Perkataan "Hello" ialah satu tanda, sebagai contoh, tetapi begitu juga "hai". Anda boleh melihat demo interaktif token dalam tindakan melalui Tokenizer OpenAI di sini. Penyelidik pembelajaran mesin Simon Willison juga mempunyai pengekod/penyahkod token interaktif yang hebat.

Model baharu ini direka bentuk untuk memenuhi permintaan pelanggan untuk konteks output yang lebih panjang, dengan jurucakap OpenAI memberitahu VentureBeat: “Kami mendengar maklum balas daripada pelanggan kami bahawa mereka mahukan konteks output yang lebih panjang. Kami sentiasa menguji cara baharu kami boleh memenuhi keperluan pelanggan kami dengan sebaik-baiknya."

Model sedang menjalani fasa ujian alfa selama beberapa minggu, di mana OpenAI akan mengumpul data tentang keberkesanan output lanjutan memenuhi keperluan pengguna.

Keupayaan yang dipertingkatkan ini amat berfaedah untuk aplikasi yang memerlukan output terperinci dan meluas, seperti penyuntingan kod dan penambahbaikan penulisan. Dengan menawarkan output yang lebih lanjutan, model GPT-4o boleh memberikan respons yang lebih komprehensif dan bernuansa, yang boleh memanfaatkan kes penggunaan ini dengan ketara.

Already, since launch, GPT-4o offered a maximum 128,000 context window — the amount of tokens the model can handle in any one interaction, including both input and output tokens. For GPT-4o Long Output, this maximum context window remains at 128,000.

So how is OpenAI able to increase the number of output tokens 16-fold from 4,000 to 64,000 tokens while keeping the overall context window at 128,000?

It call comes down to some simple math: even though the original GPT-4o from May had a total context window of 128,000 tokens, its single output message was limited to 4,000.

Similarly, for the new GPT-4o mini window, the total context is 128,000 but the maximum output has been raised to 16,000 tokens.

That means for GPT-4o, the user can provide up to 124,000 tokens as an input and receive up to 4,000 maximum output from the model in a single interaction. They can also provide more tokens as input but receive fewer as output, while still adding up to 128,000 total tokens.

For GPT-4o mini, the user can provide up to 112,000 tokens as an input in order to get a maximum output of 16,000 tokens back.

For GPT-4o Long Output, the total context window is still capped at 128,000. Yet, now, the user can provide up to 64,000 tokens worth of input in exchange for a maximum of 64,000 tokens back out — that is, if the user or developer of an application built atop it wants to prioritize longer LLM responses while limiting the inputs.

In all cases, the user or developer must make a choice or trade-off: do they want to sacrifice some input tokens in favor of longer outputs while still remaining at 128,000 tokens total? For users who want longer answers, the GPT-4o Long Output now offers this as an option.

The new GPT-4o Long Output model is priced as follows:

Compare that to the regular GPT-4o pricing which is $5 per million input tokens and $15 per million output, or even the new GPT-4o mini at $0.15 per million input and $0.60 per million output, and you can see it is priced rather aggressively, continuing OpenAI’s recent refrain that it wants to make powerful AI affordable and accessible to wide swaths of the developer userbase.

Currently, access to this experimental model is limited to a small group of trusted partners. The spokesperson added, “We’re conducting alpha testing for a few weeks with a small number of trusted partners to see if longer outputs help their use cases.”

Depending on the outcomes of this testing phase, OpenAI may consider expanding access to a broader customer base.

The ongoing alpha test will provide valuable insights into the practical applications and potential benefits of the extended output model.

If the feedback from the initial group

Atas ialah kandungan terperinci OpenAI Senyap-Senyap Keluarkan Output Panjang GPT-4o, Model Bahasa Baharu yang Besar Dengan Saiz Output Diperluas Secara Besar-besaran. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!