Tiga permainan PK mendedahkan tahap ChatGPT!

​Pengarang |. Xu Jiecheng

Penilai|. berminat nak makan tembikai. Kerana mereka telah menyedari lebih awal bahawa apabila perang pencarian ini berakhir, gergasi perisian akan terus membawa ChatGPT atau alat penjanaan kecerdasan buatan lain dan melangkah ke arah lautan biru pengekodan automatik. Pada masa itu, apatah lagi menjadi orang yang rugi, malah pekerjaan anda sendiri mungkin terancam.

Dalam medan pengekodan automatik hari ini, dua AI yang paling matang dan terkenal ialah ChatGPT, yang telah menjadi tumpuan baru-baru ini, dan Copilot, alat pengaturcaraan AI yang dilancarkan oleh Microsoft pada Jun tahun lalu, dan "dua" ini juga merupakan bintang popular yang paling dijangka menggantikan pengaturcara pada peringkat ini. Jadi buat masa ini, apakah keupayaan pengekodan ChatGPT dan Copilot Adakah mereka benar-benar akan menggantikan semua pembangun junior dan juga beberapa perantara dalam jangka pendek seperti yang dikhabarkan?

Beberapa hari lalu, seorang pakar teknikal Amerika menggunakan berbilang keperluan fungsi JavaScript untuk menguji keupayaan ChatGPT dan Copilot dalam pemprosesan data dan penjanaan algoritma. Seterusnya, mari kita gunakan keputusan ini untuk memahami tahap sebenar AI semasa dalam pengekodan, dan kemudian tanya diri kita sendiri, adakah kita benar-benar akan digantikan?

1. Fungsi JavaScript menerima bilangan pembolehubah tatasusunan dan mengembalikan persimpangan

Dalam ujian pertama, penguji mula-mula meminta ChatGPT dan Copilot menjana fungsi JavaScript , dengan syarat khusus Untuk: Perlu boleh menerima bilangan pembolehubah tatasusunan dan mengembalikan persimpangannya.

OpenAI ChatGPT:

Microsoft Copilot:

Fungsi yang dijana oleh ChatGPT ini menganggap bahawa menyediakan kurang daripada tatasusunan adalah tidak sah. Dengan menggunakan Set, ChatGPT memastikan tiada pendua dalam keputusan. Persimpangan harus menjadi operasi yang ditetapkan dan pendua harus dialih keluar. Kod Copilot mengembalikan tatasusunan yang mungkin mengandungi pendua.

Baik ChatGPT mahupun Copilot tidak mengisih parameter asal dalam tertib menaik mengikut panjang Ini adalah pengoptimuman yang remeh, tetapi ia boleh membawa perubahan besar. Jika mana-mana hujah mempunyai panjang 0, tiada persilangan itu juga memendekkan gelung kerana persilangan maksimum adalah sama dengan hujah tatasusunan terpendek.

Selepas itu, penguji meminta ChatGPT dan Copilot untuk meningkatkan kecekapan pelaksanaan fungsi tersebut.

OpenAI ChatGPT:

Microsoft Copilot:

Menghadapi masalah di atas, Copilot menghasilkan kod yang sama seperti permintaan sebelumnya. ChatGPT memberikan jawapan yang berbeza dan menambah ulasan yang mengatakan bahawa fungsi itu tidak berfungsi pada objek seperti yang diharapkan, tetapi penerangan ini tidak tepat.

Kemudian, penguji menggunakan kaedah yang sama untuk menyemak kecekapan pengendalian dan penggunaan memori kod yang dijana oleh dua perpustakaan persimpangan terpantas yang disediakan oleh ChatGPT dan Copilt.

Kod yang dijana oleh ChatGPT mengambil kurang CPU apabila dilaksanakan, tetapi kecekapan pengendalian tidak sesuai dan kod dihasilkan oleh Copilot Walaupun kod menggunakan kurang timbunan, penggunaan CPU dan kecekapan operasinya adalah lemah.

Ringkasnya, dalam ujian ini, ChatGPT mahupun Copilot tidak boleh menghasilkan kod yang cukup cekap; ChatGPT membuat andaian yang salah dalam soalan ini dan fungsi yang dihasilkan oleh Copilot mempunyai parameter Apabila nilai pendua disertakan, kod dijana yang tidak menghasilkan koleksi.

2. Fungsi JavaScript: Produk Cartesian

Ujian kedua memerlukan ChatGPT dan Copilot untuk melengkapkan fungsi JavaScript produk Cartesian.

OpenAI ChatGPT:

Microsoft Copilot:

Sesiapa sahaja yang biasa dengan produk Cartesian akan tahu bahawa dari perspektif penggunaan dan prestasi memori, hasil yang dijana oleh ChatGPT dan Copilot adalah meletup. Pelaksanaan yang mudah akan menggunakan banyak RAM untuk menyimpan semua kombinasi dan tidak mengembalikan hasilnya sehingga semua kombinasi telah dihasilkan. Kedua-dua fungsi yang dijana oleh ChatGPT dan Copilot mempunyai kelemahan ini.

Seterusnya, penguji sekali lagi meminta ChatGPT dan Copilot untuk meningkatkan kecekapan fungsi.

OpenAI ChatGPT:

Microsoft Copilot :

Sebagai tindak balas kepada permintaan ini, prestasi ChatGPT adalah mengejutkan. Tetapi dalam fungsi keseluruhan, ChatGPT membuat kesilapan yang serius [item,...hasil] bukan di dalam penjana, tetapi dalam rekursi. Copilot hanya mengabaikan perubahan permintaan dan mengembalikan hasil yang sama seperti sebelumnya.

Dari segi kecekapan menjalankan kod dan penggunaan memori, prestasi ChatGPT dan Copilot adalah seperti yang ditunjukkan dalam jadual di bawah.

Secara umum, ChatGPT mahupun Copilot tidak boleh menjana kod yang betul untuk fungsi produk Cartesian ChatGPT akan membuat kod itu mungkin Andaian tidak sah, seperti memerlukan dua parameter; walaupun hasil pengesanan menunjukkan bahawa kod yang dijana oleh ChatGPT adalah lebih cekap memori, ia tidak berjalan dengan lancar sama sekali.

3. Fungsi JavaScript menyimpan objek dan parameter asal

Dalam pusingan ketiga, penguji meminta kedua-duanya menjana fungsi JavaScript yang boleh menyimpan objek dan parameter asal.

OpenAI ChatGPT:

Microsoft Copilot:

Dalam hal ini, kedua-dua ChatGPT dan Copilot menghasilkan kod yang agak tidak cekap Ia adalah sangat cekap untuk menukar rentetan dan kemudian membandingkan rentetan memakan banyak ingatan.

Walaupun terdapat beberapa nilai JavaScript yang tidak boleh ditukar kepada rentetan, seperti Infinity dan NaN. Malangnya, spesifikasi JSON JavaScript telah ditakrifkan sebelum era sains data dan perkhidmatan mikro, dan nilai ini wujud terutamanya supaya apabila keadaan ralat tertentu berlaku dalam kod, program juga boleh menggunakan nilai tertentu untuk mewakili hasil yang dihasilkan.

Akhir sekali, untuk mengesahkan kecekapan fungsi, penguji membandingkan kod yang dijana oleh ChatGPT dan Copilot dengan alat caching yang biasa digunakan nano-memoize dan micro-memoize, dan menggunakan yang berikut kod untuk menjana 12 nombor Fibonacci pertama.

Antaranya, nano-memoize ialah yang paling cekap , iaitu hampir dua kali lebih cekap daripada kod yang dijana oleh ChatGPT dan Copilot, dan memori yang digunakan juga paling rendah, manakala prestasi memori mikro boleh dikatakan diikuti dengan teliti. Walaupun Copilot berprestasi baik dari segi penggunaan CPU, secara keseluruhannya, prestasi ChatGPT dan Copilot dalam ujian ini masih tidak mencukupi untuk mengalahkan pengaturcara yang matang.

4 Ringkasan dan ramalan

Melalui tiga ujian ini, tidak sukar untuk mencari bahawa walaupun kod yang dihasilkan menggunakan ChatGPT dan Copilot adalah. pasti Mempunyai nilai tertentu. Tetapi buat masa ini, ChatGPT mahupun Copilot tidak boleh menjana kod yang cukup tepat dan cekap daripada huraian tugas yang mudah, malah dalam beberapa kes, mereka membuat beberapa kesilapan yang sangat teruk. Selepas mengetahui tentang keputusan ini, ramai pembangun turut menyatakan bahawa mereka merasakan bahawa mereka boleh bertahan untuk beberapa tahun lagi.

Untuk perusahaan atau pengaturcara hari ini, jika anda ingin menggunakan ChatGPT, Copilot atau alat penjanaan kod lain untuk membantu anda menyelesaikan beberapa tugas pengekodan tambahan yang mudah untuk mempercepatkan pembinaan, maka Anda pasti boleh mendapat sokongan yang mencukupi. Tetapi jika anda ingin bergantung pada mereka untuk membebaskan sepenuhnya R&D, maka anda mungkin perlu membelanjakan banyak wang untuk melengkapkannya dengan pasukan penyahpepijatan yang kuat.

Walau bagaimanapun, walaupun ini adalah hasilnya, hari ini kami masih tidak boleh mengabaikan potensi AI dalam bidang pengekodan automatik dan syarikat perisian berkuasa di sebalik sistem ini. Apa yang pasti ialah apabila jumlah latihan dan kematangan teknologi meningkat, alat pengekodan automatik masa hadapan akan terus mengembangkan data perniagaan mereka dalam senario yang berbeza, dan secara beransur-ansur cuba menyelesaikan beberapa tugas praktikal yang lebih profesional dan berasaskan senario.

Akhir sekali, mengenai soalan "Bolehkah AI menggantikan pengaturcara pada masa hadapan?", mungkin jawapan yang paling boleh dipercayai pada masa ini ialah bekas ketua Makmal Penglihatan Mesin Alibaba Israel Itamar Friedman pernah berkata Ramalan yang dibuat dalam temu bual - "Dalam tempoh 10 hingga 20 tahun akan datang, sistem kecerdasan buatan akan membolehkan pencipta bukan pengaturcara menggunakan arahan bahasa semula jadi untuk berkembang tanpa kesilapan, dan dunia kita masih memerlukan banyak pengaturcara, tetapi peranannya mungkin berubah dalam cara yang tidak dapat diramalkan.”

Pautan rujukan:

https://medium.com/@anywhichway/chatgpt- vs-copilot-vs-programmers

https://github.com/anywhichway/nano-memoize

https://github.com/planttheidea/micro-memoize

Atas ialah kandungan terperinci Tiga permainan PK mendedahkan tahap ChatGPT!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!