GPT-4 menjadi bodoh dan mencetuskan pendapat umum! Kualiti kod teks telah menurun, dan OpenAI baru sahaja menjawab soalan tentang pengurangan kos dan pengurangan bahan.

Siling model besar GPT-4, adakah ia ... menjadi bodoh?

Mula-mula beberapa pengguna menimbulkan persoalan, dan kemudian sebilangan besar netizen berkata mereka menyedarinya dan menyiarkan banyak bukti.

Sesetengah orang melaporkan bahawa mereka telah menghabiskan 3 jam dan 25 kuota perbualan GPT-4 sekali gus, dan masih tidak menyelesaikannya sendiri masalah kod.

Saya tiada pilihan selain beralih kepada GPT-3.5, tetapi ia menyelesaikan masalah.

Merumuskan maklum balas semua orang, yang paling penting ialah:

• GPT-4 boleh menulis pada masa lalu Yang betul kod kini penuh dengan pepijat
• Kedalaman dan analisis menjawab soalan telah menjadi kurang
• Kelajuan respons lebih cepat daripada sebelumnya

Ini telah menyebabkan banyak orang Saya tertanya-tanya sama ada OpenAI mengambil langkah untuk menjimatkan kos?

Dua bulan lalu GPT-4 adalah pembantu penulisan terhebat di dunia, beberapa minggu lalu ia mula jatuh ke dalam keadaan biasa-biasa saja. Saya mengesyaki mereka mengurangkan kuasa pengkomputeran atau menjadikannya kurang pintar.

Ini sudah semestinya mengingatkan orang ramai tentang Bing baharu Microsoft, yang “mencapai kemuncaknya apabila ia mula muncul”, tetapi kemudiannya mengalami “lobotomi hadapan pembedahan” untuk mengubah kemampuannya...

Selepas netizen berkongsi pengalaman mereka antara satu sama lain, menjadi kata sepakat semua orang bahawa "ia mula menjadi lebih teruk beberapa minggu lalu."

Ribut pendapat umum secara serentak terbentuk dalam komuniti teknikal seperti Berita Hacker, Reddit dan Twitter.

Sekarang pegawai tidak boleh duduk diam.

Duta Promosi Pembangun OpenAI Logan Kilpatrick menjawab soalan netizen:

API tidak akan berubah tanpa kami memberitahu anda. Model di sana sedang berehat.

Netizen yang tidak senang terus meminta pengesahan, "Maknanya GPT-4 statik sejak dikeluarkan pada 14 Mac, kan ?" ?", turut mendapat jawapan positif daripada Logan.

"Saya perhatikan prestasi yang tidak konsisten untuk beberapa perkataan pantas, adakah ia hanya disebabkan oleh ketidakstabilan model besar itu sendiri?", juga mendapat " Ya " balas.

Tetapi setakat ini, dua soalan mengenai sama ada versi web GPT-4 telah diturunkan taraf belum dijawab, dan Logan belum menerima sebarang jawapan dalam tempoh ini Terdapat kandungan lain yang diterbitkan.

Jadi apa sebenarnya yang berlaku?

Seperti yang biasa disebut oleh netizen bahawa kemahiran pengekodan GPT-4 telah menjadi lebih teruk, kami menjalankan percubaan mudah.

Adakah keupayaan "alkimia" GPT-4 merosot?

Pada penghujung bulan Mac, kami bereksperimen dengan membenarkan GPT-4 "membuat elixir" dan menulis perceptron berbilang lapisan dalam Python untuk melaksanakan get XOR.

△Kongsi tangkapan skrinGPT, antara muka berbeza sedikit

Selepas menukar GPT-4 untuk menggunakan numpy tanpa rangka kerja, ini kali pertama Hasilnya salah.

Selepas mengubah suai kod dua kali, hasil yang betul diperolehi. Kali pertama ialah mengubah suai bilangan neuron tersembunyi, dan kali kedua ialah menukar fungsi pengaktifan daripada sigmoid kepada tanh.

Pada 2 Jun, kami cuba sekali lagi untuk membenarkan GPT-4 menyelesaikan tugasan ini, tetapi ditukar kepada perkataan gesaan bahasa Cina.

Kali ini GPT-4 tidak menggunakan bingkai buat kali pertama, tetapi kod yang diberikan masih salah. Hasil yang betul diperolehi selepas hanya satu pengubahsuaian, dan idea itu ditukar kepada idea bata Lidada, secara langsung meningkatkan bilangan zaman latihan dan kadar pembelajaran.

Tiada penurunan ketara dalam kualiti bahagian teks jawapan adalah juga diperhatikan, tetapi tindak balas Kelajuan memang terasa lebih pantas.

Disebabkan masa yang terhad, kami hanya menjalankan eksperimen ini sahaja, dan disebabkan kerawak AI itu sendiri, kami tidak dapat menafikan pemerhatian netizen.

Sesetengah orang melaporkan maklum balas seawal 19 April

Kami mencari dalam saluran OpenAI Discord rasmi dan mendapati bahawa sejak akhir April, pengguna sporadis telah melaporkan bahawa GPT-4 telah menjadi lebih teruk.

Walau bagaimanapun, maklum balas ini tidak mencetuskan perbincangan berskala besar dan tidak menerima maklum balas rasmi rasmi.

Pada 31 Mei, sebilangan besar netizen mula membincangkan isu ini di Berita Hacker dan Twitter pada hari yang sama, menjadi nod utama dalam keseluruhan kejadian.

Seorang netizen HackerNews menegaskan bahawa avatar GPT-4 lebih kuat apabila ia masih hitam, tetapi kini versi avatar ungu akan kehilangan beberapa baris apabila mengubah suai kod.

Orang yang membangkitkan isu ini sebelum ini di Twitter ialah Matt Shumer, Ketua Pegawai Eksekutif HyperWrite (alat penulisan yang dibangunkan berdasarkan API GPT).

Tetapi tweet ini bergema dengan ramai netizen, dan pekerja OpenAI membalas tweet ini.

Namun, maklum balas ini tidak memuaskan hati semua orang Sebaliknya, skop perbincangan menjadi semakin luas.

Sebagai contoh, siaran di Reddit menyebut bahawa GPT-4, yang pada asalnya mampu menjawab soalan kod, kini tidak dapat memberitahu yang mana kod dan yang mana soalan.

Setelah disoal oleh netizen lain, penulis posting tersebut memberikan gambaran keseluruhan proses masalah tersebut dan turut melampirkan rekod sembang bersama GPT .

Mengenai dakwaan OpenAI bahawa model itu tidak diubah sejak Mac, memang tiada rekod yang relevan di peringkat awam.

Dalam log kemas kini ChatGPT, kemas kini kepada model itu sendiri telah disebut pada 9 Januari, 30 Januari dan 13 Februari masing-masing, melibatkan peningkatan dalam ketepatan fakta dan keupayaan matematik.

Walau bagaimanapun, tidak ada sebutan tentang kemas kini model sejak keluaran GPT-4 pada 14 Mac. Terdapat hanya perubahan dalam pelarasan fungsi APP web dan penambahan mod rangkaian, mod pemalam, Apple APP , dsb.

Dengan mengandaikan, seperti yang dikatakan OpenAI, keupayaan model GPT-4 itu sendiri tidak berubah, maka mengapa ramai orang merasakan bahawa ia prestasi merosot. Apa yang berlaku?

Ramai juga yang memberi tekaan sendiri.

Sebab pertama yang mungkin adalah psikologi.

Pengasas Keras François Chollet berkata bahawa bukan prestasi GPT telah merosot, tetapi semua orang telah melepasi tempoh kejutan awal dan jangkaan mereka untuknya menjadi lebih tinggi.

Beberapa netizen di Hacker News juga berpendapat sama dan menambah bahawa tumpuan orang telah berubah dan mereka lebih sensitif terhadap kesilapan GPT.

Selain daripada perbezaan dalam perasaan psikologi seseorang, sesetengah orang juga mengesyaki bahawa versi API dan versi web tidak semestinya konsisten, tetapi tiada bukti kukuh .

Terdapat juga spekulasi bahawa apabila pemalam didayakan, kata-kata gesaan tambahan bagi pemalam itu mungkin merupakan sejenis pencemaran kepada masalah yang perlu diselesaikan.

△Kata-kata gesaan tambahan dalam pemalam WebPilot

Netizen ini berkata pada pendapatnya, prestasi GPT telah merosot. Ia bermula selepas fungsi pemalam memulakan ujian awam.

Sesetengah orang juga bertanya kepada pekerja OpenAI sama ada model itu sendiri tidak berubah, tetapi adakah parameter inferens telah berubah?

Qubit juga secara tidak sengaja "terseksa" bahawa kata gesaan sistem ChatGPT pada iOS tidak konsisten dengan versi web.

• Jika anda membuka perbualan pada telefon mudah alih anda, ia akan mengetahui bahawa ia sedang berinteraksi dengan anda melalui telefon mudah alih anda.
• Akan menyimpan jawapan kepada satu atau dua ayat melainkan alasan yang panjang diperlukan.
• tidak akan menggunakan emotikon melainkan anda secara jelas memintanya untuk menggunakannya.

△ Ia mungkin tidak berjaya, dan terdapat kebarangkalian tinggi untuk enggan menjawab

Kemudian jika anda teruskan dalam versi web, buka dalam dialog versi iOS tanpa disedari, anda mungkin melihat bahawa jawapan GPT-4 menjadi lebih mudah.

Ringkasnya, ia masih menjadi misteri yang tidak dapat diselesaikan sama ada GPT-4 telah menjadi bodoh sejak dikeluarkan.

Tetapi satu perkara yang pasti:

GPT-4 yang dimainkan oleh semua orang sejak 14 Mac tidaklah sehebat yang ada dalam kertas sejak awal.

Menjajarkan dengan manusia mengurangkan keupayaan AI

Kertas lebih daripada 150 halaman yang diterbitkan oleh Microsoft Research "The Spark of AGI: Early Experiments with GPT-4" dengan jelas menyatakan :

Mereka memperoleh kelayakan ujian sebelum pembangunan GPT-4 selesai dan menjalankan ujian jangka panjang.

Kemudian, untuk banyak contoh hebat dalam kertas itu, netizen tidak berjaya menghasilkan semula mereka menggunakan versi awam GPT-4.

Pada masa ini terdapat pandangan dalam komuniti akademik bahawa walaupun latihan RLHF seterusnya menjadikan GPT-4 lebih sejajar dengan manusia - iaitu, lebih patuh kepada arahan manusia dan konsisten dengan nilai kemanusiaan - ia juga membenarkannya untuk melakukan penaakulan sendiri, dsb. Keupayaan menjadi lebih teruk.

Salah seorang pengarang kertas kerja, saintis Microsoft Zhang Yi, turut menyebut dalam isu S7E11 program podcast Cina "What's Next｜Technology Knows Early":

Versi itu daripada model itu lebih baik daripada model semasa di luar GPT-4, yang tersedia untuk semua orang, malah lebih kuat, lebih kuat.

Sebagai contoh, pasukan Microsoft menyebut dalam kertas bahawa mereka membenarkan GPT-4 menggunakan TikZ dalam LaTeX untuk melukis unicorn pada selang masa yang tetap untuk menjejaki perubahan dalam keupayaan GPT-4 .

Keputusan terakhir yang ditunjukkan dalam kertas itu agak lengkap.

Tetapi pengarang pertama kertas itu, Sebastien Bubeck, kemudiannya mendedahkan lebih banyak maklumat apabila dia memberi ucapan di MIT.

Kemudian, apabila OpenAI mula memfokuskan pada isu keselamatan, versi berikutnya menjadi lebih teruk dan lebih teruk dalam tugasan ini.

Kaedah latihan yang sejajar dengan manusia tetapi tidak mengurangkan had atas keupayaan AI sendiri juga telah menjadi hala tuju penyelidikan ramai pasukan sekarang, tetapi Masih di peringkat awal.

Selain pasukan penyelidik profesional, netizen yang mengambil berat tentang AI juga menggunakan kaedah mereka sendiri untuk menjejaki perubahan dalam keupayaan AI.

Seseorang meminta GPT-4 melukis unicorn sekali sehari dan merekodkannya secara terbuka di tapak web.

Sejak 12 April, saya masih tidak melihat bentuk umum unicorn.

Sudah tentu penulis laman web itu mengatakan bahawa dia membuat GPT-4 menggunakan format SVG untuk melukis gambar, yang berbeza daripada format TikZ dalam kertas, yang juga mempunyai kesan.

Dan apa yang saya lukis pada bulan April nampaknya sama dengan apa yang saya lukis sekarang, dan tiada regresi yang jelas.

Akhir sekali, izinkan saya bertanya kepada anda, adakah anda pengguna GPT-4? Pernahkah anda merasakan bahawa keupayaan GPT-4 telah merosot dalam beberapa minggu kebelakangan ini? Selamat berbual di ruangan komen.

Ucapan Bubeck: https://www.php.cn/link/a8a5d22acb383aae55937a6936e120b0
Temu bual Zhang Yi: https://www.php.cn 764f9642ebf04622c53ebc366a68c0a7
Satu GPT-4 unicorn setiap harihttps://www.php.cn/link/7610db9e380ba9775b3c215347>pautan

🎜>[1]

https://www.php.cn/link/cd3e48b4bce1f295bd8ed1eb90eb0d85
[2]https://www.php.cn/link/fc2dc7d20994a777cfd5e5de4" >https://www.php.cn/link/4dcfbc057e2ae8589f9bbd98b591c50a
[4]https://www.php.cn/link/0007cda84fafdcf42f96c4f42f96c4f4]
[🎜 >https://www.php.cn/link/cd163419a5f4df0ba7e252841f95fcc1
[6]https://www.php.cn/link/afb0b97df87090596ae7c503f
https://www.php.cn/link/ef8f94395be9fd78b7d0aecf7864a03[8]
https://www.php.cn/link/30082754836bf11b2c31a0b>[8]https://www.php.cn/link/30082754836bf11b2c31a0b>https://www.php.cn/link/14553eed6ae802daf3f8e8c10b1961f0

Atas ialah kandungan terperinci GPT-4 menjadi bodoh dan mencetuskan pendapat umum! Kualiti kod teks telah menurun, dan OpenAI baru sahaja menjawab soalan tentang pengurangan kos dan pengurangan bahan.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!