Baca separuh daripada "The Three-Body Problem" dalam sekali duduk! Pesaing terkuat GPT-4 tiba-tiba dinaik taraf kepada 100,000 token, dan demonstrasi kod kertas telah selesai

Apabila GPT-4 32K masih dalam ujian dalaman, saingan kuat OpenAI secara langsung meningkatkan panjang konteks.

Baru hari ini, syarikat permulaan Anthropic mengumumkan bahawa Claude telah dapat menyokong panjang token konteks sebanyak 100K, iaitu kira-kira 75,000 perkataan.

Apakah konsep ini?

Selepas purata orang mengambil masa kira-kira 5 jam untuk membaca jumlah kandungan yang sama, dia masih perlu meluangkan lebih banyak masa untuk menghadam, menghafal dan menganalisis.

Bagi Claude, ia dilakukan dalam masa kurang daripada 1 minit.

Lemparkan keseluruhan buku "The Great Gatsby" kepadanya, yang mempunyai kira-kira 72k token, dan tukar satu ayat:

Mr ialah seorang jurutera perisian yang bekerja pada alatan pembelajaran mesin di Anthropic.

Boleh percaya tak? Claude hanya mengambil masa 22 saat untuk mencari ayat yang diubah.

Ramai netizen berkata dengan Claude 100K, GPT-4 32K di tangan mereka tidak lagi bagus.

Claude 100k, Beerxiang!

Beberapa ketika dahulu, dalam komuniti pembangun OpenAI, ramai orang membincangkan bahawa GPT-4 32K sedang dilancarkan.

Selain itu, ramai pengguna GPT-4 sudah boleh melihat pilihan GPT-4 32k di PlayGround mereka.

Netizen yang telah membuka kunci versi ini telah mendapat akses kepada ratusan titik data daripada pengguna yang menyahpasang HyperWrite memberitahunya dengan tepat apa penambahbaikan yang perlu dibuat seterusnya.

Dia memuji GPT-4 32k adalah pengurus produk terbaik di dunia.

32k sangat berkuasa, jadi bukankah ia lebih kuat dengan 100K.

Jelas sekali, saingan kuat OpenAI, Anthropic mengambil kesempatan terlebih dahulu.

Panjang konteks 100K token bermakna anda boleh memuat naik ratusan halaman analisis teks ke Claude. Dan tempoh perbualan telah dipanjangkan dengan sangat baik, sehingga berjam-jam atau bahkan berhari-hari.

Sudah tentu, selain membaca teks yang panjang, Claude juga boleh mendapatkan maklumat yang anda perlukan dengan cepat daripada dokumen.

Anda boleh menggunakan berbilang dokumen atau malah kandungan buku sebagai gesaan dan kemudian bertanya soalan.

Apabila anda menemui kertas kerja pada masa hadapan, walaupun panjang, minta Claude meringkaskannya. Ini hanyalah berita baik untuk junior yang membaca kertas itu.

Soalan komprehensif sebegini biasanya memerlukan pemahaman yang menyeluruh tentang kandungan banyak bahagian teks dalam menangani jenis ini daripada masalah, Claude boleh dikatakan lebih baik daripada kaedah berdasarkan carian vektor.

Claude juga boleh menjadi "pendamping kod" anda dan boleh membuat demonstrasi dalam beberapa minit.

Sebagai contoh, muat naik dokumen Langchain API 240 halaman, biarkan ia berdasarkan dokumen ini dan gunakan model bahasa Anthropic untuk membuat demonstrasi ringkas Langchain.

Anda juga boleh memberi Claude laporan tahunan syarikat setebal 85 halaman (10k).

Kemudian, minta untuk menyerlahkan item yang paling penting kepada bakal pelabur dan terangkan kepentingannya.

Selain itu, Claude 100k boleh mengendalikan kira-kira 6 jam audio.

Sebagai contoh, AssemblyAI menyalin kandungan podcast Carmack ke dalam 58k token teks, dan kemudian menggunakan Claude untuk meringkaskan dan menjawab soalan.

Akhir sekali, Claude meringkaskan perkara yang dia boleh lakukan Liputan boleh dikatakan sangat menyeluruh.

- Memahami, meringkaskan dan mentafsir dokumen padat seperti penyata kewangan, kertas penyelidikan, dll.

- Menganalisis risiko dan risiko strategik syarikat berdasarkan laporan tahunan Peluang

- Menilai kebaikan dan keburukan sesuatu perundangan

- Kenal pasti risiko, topik dan pelbagai bentuk hujah dalam dokumen undang-undang

- Baca ratusan halaman dokumentasi pembangunan dan jawab soalan teknikal

- Bina atau ubah suainya secara bijak dengan meletakkan keseluruhan pangkalan kod anda into context Untuk prototaip cepat

Sudah tentu, buat masa ini, Anthropic mengatakan bahawa konteks 100K masih merupakan ciri beta dan akan dicaj mengikut harga API standard dalam tempoh ini.

Laman web rasmi juga memberikan harga khusus:

Claude Instant

Gesaan: $0.00163 / 1K token

Penyiapan: $0.00551 / 1K token

Claude-v1

Gesaan: $0.01102 / 1K token

Penyiapan: $0.03268 / 🎜 >

Berbanding OpenAI, harganya sudah sangat berpatutan.

Menurut laman web rasmi OpenAI, GPT-4 32k Prompt berharga $0.06 dan Completion berharga $0.12.

Setara, anda perlu membelanjakan 5-6 kali ganda harga untuk menggesa model.

Netizen kata Claude 100k lebih laju dan murah berbanding GPT-4 32k.

Ujian sebenar oleh netizen

Kemas kini blockbuster sebegini mesti ada pengalaman netizen.

Sesetengah netizen berkata bahawa 100k adalah sangat luar biasa dan boleh mengendalikan berbilang kertas lengkap, asas kod yang sebahagiannya lengkap, dan juga novel 250 halaman.

Omong-omong, ramai netizen terlebih dahulu menguji Claude dan mendapati kesannya cukup bagus.

Pada mulanya, 100K hanya dalam API, dan model lalai yang digunakan oleh Claude masih 9K. Tetapi tidak lama lagi, antara muka aplikasi Claude juga menyokong 100K.

Seorang netizen menguji "Laporan Teknikal GPT-4" setebal 100 muka surat dan hasilnya hanya boleh digambarkan sebagai menakjubkan .

Seseorang juga terus menyuap "disqualification in the world" Dazai Osamu kepada Claude dan bertanya tentang plot cerita dalam Bahasa Inggeris. Jawapan yang tepat diberikan.

Pada masa yang sama, netizen ini melemparkan kod sumber lengkap Toolformer Zero yang dia bangunkan kepadanya, dan Claude adalah tepat Terangkan untuk apa ini digunakan.

Selain itu, Claude juga memuji modulariti kod dan memberikan cadangan untuk menambah beberapa ujian unit.

Buang puisi "Beowulf" Pergi dalam dan menganalisis watak Beowulf, yang juga sangat tepat.

Saintis Nvidia Jim Fan berkata bahawa ini adalah helah pembunuh yang dilemparkan oleh Anthropic. Perlumbaan senjata masa depan dalam konteks panjang semakin panas.

Berkenaan kepentingan menyokong 100k, netizen mengatakan bahawa seluar Thai adalah panas! Ini ialah demonstrasi yang baik mengapa teks panjang penting kepada LLM.

Ramai netizen turut membayangkan GPT-4.

Kelahiran Claude-100K menjadikan AnthropicAI secara rasminya pesaing sebenar OpenAI.

"Ramai orang masih menunggu dalam barisan untuk 32k GPT-4. Kali ini, Claude mengembangkan tetingkap konteks kepada 100,000 token, yang merupakan lonjakan besar.

Ini juga bermakna syarikat termasuk OpenAI dan Google perlu bersaing dalam bidang ini, yang merupakan kemenangan besar bagi pengguna 》

<.>

Sesetengah netizen mengeluh kerana zaman sudah terlalu pantas.

Google mengambil masa kurang daripada sehari untuk mengumumkan bahawa PaLM 2 cemerlang dalam tugasan inferens lanjutan, dan Anthropic’s Claude kini boleh mencerna 100,000 token dalam masa kurang daripada seminit. Kemajuan kecerdasan buatan sememangnya mengagumkan.

Walau bagaimanapun, jika anda memasukkan kurang token Pada 9K, Antropic nampaknya memanggil model sebelumnya.

Berjuta-juta token, bukan mimpi

Dalam beberapa tahun kebelakangan ini, Makmal Penyelidikan Berjerebu di Universiti Stanford telah terlibat dalam kerja penting, iaitu meningkatkan panjang jujukan model.

Pada pandangan mereka, ini akan membawa kepada era baharu model pembelajaran mesin asas.

Algoritma FlashAttention yang dicadangkan oleh penyelidik pada 2022 membuktikan kebolehlaksanaan 32k.

Malah Sam Altman berkata kami mahukan 32k token.

Malah, bukan sahaja 32k, malah 100k telah dicapai, dan satu juta token tidak jauh.

"Terlalu liar! Dalam beberapa tahun, adakah mungkin untuk menyokong panjang konteks token sebanyak 1 juta?" 🎜 >

Beberapa masa lalu, penyelidik dari DeepPavlov, AIRI, dan London Institute of Mathematical Sciences mengeluarkan laporan teknikal menggunakan Recurrent Memory Transformer (RMT) untuk meningkatkan panjang konteks berkesan bagi BERT. kepada "2 juta token yang belum pernah terjadi sebelumnya" sambil mengekalkan ketepatan perolehan memori yang tinggi.

Alamat kertas: https://arxiv.org/abs/2304.11062

Kaedah ini boleh menyimpan dan memproses maklumat tempatan dan global, dan membiarkan maklumat mengalir antara segmen jujukan input dengan menggunakan gelung.

Walau bagaimanapun, walaupun RMT tidak meningkatkan penggunaan memori dan boleh dilanjutkan kepada panjang jujukan yang hampir tidak terhad, masih terdapat masalah pereputan ingatan dalam RNN dan masa inferens yang lebih lama diperlukan.

Malah, di sebalik RMT terdapat mekanisme ingatan serba baharu.

Kaedah operasi khusus adalah untuk menambah token memori khas pada urutan input atau output tanpa mengubah model Transformer asal, dan kemudian melatih model untuk mengawal operasi memori dan pemprosesan perwakilan jujukan .

Berbanding Transformer-XL, RMT memerlukan kurang memori dan boleh mengendalikan urutan tugasan yang lebih panjang.

Sudah tentu, Claude 100k sudah menjadi permulaan yang cukup besar sebelum akhirnya mencapai satu juta token.

Atas ialah kandungan terperinci Baca separuh daripada "The Three-Body Problem" dalam sekali duduk! Pesaing terkuat GPT-4 tiba-tiba dinaik taraf kepada 100,000 token, dan demonstrasi kod kertas telah selesai. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!