Keterlaluan! Seorang profesor Amerika menggunakan ChatGPT untuk "mengesahkan" bahawa kertas kerjanya telah diciplak, dan separuh daripada kelas gagal dalam kursus

Alangkah hebatnya pemergiannya!

Tesis tamat pengajian yang saya bekerja keras untuk kod sebenarnya telah diambil oleh profesor dan dimasukkan ke dalam ChatGPT untuk ujian, dan kemudian ia dinilai sebagai plagiarisme?

Profesor gagal separuh kelas kerana ini, dan kemudian sekolah enggan mengeluarkan diploma kerananya?

Profesor: Sesiapa yang dituntut oleh ChatGPT akan mendapat 0 mata

Baru-baru ini, perkara yang tidak masuk akal berlaku di Texas A&M University (Texas A&M) .

Untuk mengesan penipuan dalam kertas yang diserahkan oleh pelajar, seorang profesor bernama Jared Mumm menyerahkan kertas mereka kepada ChatGPT.

Dia berkata kepada pelajar: Saya akan salin dan tampal kertas anda ke dalam ChatGPT dan ia akan memberitahu saya, Kertas anda tidak dihasilkan olehnya.

"Saya akan meletakkan tiga kertas terakhir setiap orang dalam dua tempoh masa yang berbeza. Jika ia dituntut oleh ChatGTP kedua-dua kali, saya akan memberi Anda 0 mata."

Jelas sekali, Profesor Mumm, yang tidak mempunyai pengetahuan latar belakang berkaitan komputer, tidak tahu apa-apa tentang prinsip ChatGPT.

Malah, ChatGPT tidak mengiktiraf kandungan yang dicipta oleh AI, walaupun ia ditulis dengan sendirinya.

Malah, dia tidak mengeja ChatGPT dengan betul - dia terus menulis "Sembang GPT" dan "Sembang GPT".

Akibatnya, lebih separuh daripada kelas mempunyai kertas kerja mereka secara tidak bertanggungjawab "dituntut" oleh ChatGPT dan oleh itu gagal subjek.

Apa yang lebih malang ialah kebanyakan diploma pelajar lepasan ijazah ditolak terus oleh pihak sekolah.

Sudah tentu, Profesor Mumm bukan tanpa belas kasihan Dia memberi peluang kepada seluruh kelas untuk membuat semula kerja rumah mereka.

Bagaimana untuk membuktikan bahawa anda tidak menggunakan ChatGPT?

Selepas menerima e-mel di atas, beberapa pelajar menulis kepada Mumm untuk membuktikan mereka tidak bersalah. Mereka memberikan Google Docs dengan cap masa untuk membuktikan mereka tidak menggunakan ChatGPT.

Tetapi Profesor Mumm hanya mengabaikan e-mel ini dan hanya meninggalkan respons ini dalam beberapa perisian penggredan pelajar - saya tidak menggredkan najis yang dijana AI.

Namun masih ada pelajar yang telah "dipulihkan". ".Dan mendapat permintaan maaf daripada Mumm.

Namun, untuk merumitkan keadaan, dua pelajar "kehadapan" dan mengaku memang pernah menggunakan ChatGPT pada semester ini.

Ini tiba-tiba menyukarkan lagi pelajar lain yang tidak menggunakan ChatGPT untuk menulis kertas kerja mereka bagi membuktikan mereka tidak bersalah...

Dalam Dalam hal ini, Kolej Perniagaan Universiti Texas A&M berkata ia sedang menyiasat kejadian itu, tetapi tiada pelajar gagal dan tiada siapa yang ditangguhkan kerana isu itu.

Pihak sekolah menyatakan bahawa Profesor Mum sedang bercakap dengan pelajar secara bersemuka untuk memahami sama ada AI digunakan dalam proses menulis kerja rumah mereka dan sejauh mana ia digunakan. Diploma pelajar individu akan ditahan sehingga siasatan selesai.

Pelajar kata tak terima diploma.

Pada masa ini, kejadian itu masih dalam siasatan.

Gunakan ChatGPT untuk mengesan ChatGPT?

Maka persoalannya, bolehkah ChatGPT membuktikan sama ada sesuatu artikel itu ditulis sendiri?

Sehubungan dengan itu, berdasarkan kandungan e-mel profesor, kami meminta ChatGPT untuk pendapatnya:

ChatGPT berkata dari awal lagi bahawa ia Tiada keupayaan untuk mengesahkan keaslian kandungan dan sama ada ia dihasilkan oleh AI.

"Guru ini nampaknya salah faham cara AI seperti saya berfungsi. Walaupun AI boleh menjana teks berdasarkan gesaan, ia tidak dapat menentukan sama ada teks lain dijana oleh AI . ”

Setelah berkata demikian, ini tidak menghalang netizen yang menggemari seks.

Mereka menghasilkan drama yang dipanggil "Mengajar orang lain dengan caranya sendiri" untuk mengajar Profesor Mumm cara berkelakuan dalam talian.

Pertama sekali, ChatGPT menyatakan bahawa e-mel yang ditulis oleh profesor itu ditulis oleh beliau.

Susulan ini, netizen meniru pendekatan Profesor Mumm -

Ambil petikan yang kelihatan seperti kertas tertentu dan tanya ChatGPT sama ada ia ditulis olehnya.

Kali ini, walaupun ChatGPT tidak mengatakan bahawa ia ditulis dengan sendirinya, pada asasnya pasti kandungan itu datang daripada AI.

Antaranya, beberapa ciri adalah konsisten dengan kandungan yang dihasilkan oleh Al:

1. Teks adalah koheren dan mengikut struktur yang jelas, Dari umum kepada khusus.

2. Petik sumber dan data berangka dengan tepat.

3. Terminologi digunakan dengan betul, yang merupakan ciri khas model Al. Sebagai contoh, GPT-4 dilatih mengenai pelbagai teks termasuk kesusasteraan saintifik.

Jadi sebenarnya, dari manakah kandungan ini datang?

Inilah bahagian menariknya, ternyata ianya adalah tesis kedoktoran yang ditulis sendiri oleh Profesor Mumm!

Pengesan AI tidak berfungsi?

Memandangkan ChatGPT tidak dapat menyemak sama ada sesuatu kandungan dijana oleh AI, apakah yang boleh dilakukannya?

Sudah tentu, "pengesan AI" dicipta khas untuk tujuan ini, mendakwa dapat mengalahkan sihir dengan sihir.

Antara banyak pengesan AI, yang paling terkenal ialah GPTZero yang dicipta oleh sarjana muda Cina Princeton Edward Tian - ia bukan sahaja percuma, tetapi juga mempunyai hasil yang cemerlang.

Hanya salin dan tampal teks, dan GPTZero boleh menunjukkan dengan jelas perenggan mana dalam sekeping teks yang dihasilkan oleh AI dan yang dihasilkan oleh manusia Ditulis.

Pada prinsipnya, GPTZero bergantung terutamanya pada "perplexity" (rawak teks) dan "suddenness" (perubahan dalam perplexity) sebagai penunjuk untuk membuat pertimbangan.

Dalam setiap ujian, GPTZero juga akan memilih ayat yang mempunyai darjah kekeliruan yang paling tinggi, iaitu ayat yang paling menyerupai percakapan manusia.

Tetapi kaedah ini tidak boleh dipercayai sepenuhnya Walaupun GPTZero mendakwa bahawa kadar positif palsu produk adalah

Dalam ujian sebenar, seseorang pernah memasukkan Perlembagaan A.S. ke dalam GPTZero, dan telah ditentukan bahawa ia ditulis oleh AI.

Mengenai balasan ChatGPT sebentar tadi, GPTZero percaya bahawa ia mungkin ditulis sepenuhnya oleh manusia.

Akibatnya guru yang tidak memahami prinsip dan terlalu degil secara tidak sengaja akan menzalimi ramai pelajar. , seperti Profesor Mumm.

Jadi, jika kita menghadapi situasi ini, bagaimana kita harus membuktikan kita tidak bersalah?

Sesetengah netizen mencadangkan, sama seperti "U.S. Perlembagaan Eksperimen", membuang artikel yang ditulis sebelum kemunculan ChatGPT ke dalam pengesan AI untuk melihat keputusannya.

Walau bagaimanapun, secara logiknya, walaupun dapat dibuktikan bahawa pengesan AI memang tidak boleh dipercayai, pelajar tidak dapat membuktikan secara langsung bahawa kertas mereka tidak dihasilkan oleh AI.

Tanya ChatGPT bagaimana untuk memecahkannya, ini yang dikatakan.

"Biar guru memahami kaedah kerja dan had AI", nah, ChatGPT menemui Huadian.

Satu-satunya jawapan yang saya boleh fikirkan pada masa ini ialah jika anda tidak menulis terus di bawah hidung profesor, kemudian tulis kertas setiap kali Rakam skrin, atau hanya siarkan secara langsung kepada profesor.

Malah OpenAI hanya boleh menjamin kadar ketepatan "positif benar" sebanyak 26% untuk pengesan ChatGPT rasminya.

Mereka juga mengeluarkan kenyataan rasmi untuk menyuntik semua orang: "Kami benar-benar tidak mengesyorkan menggunakan alat ini secara berasingan, kerana kami tahu ia boleh menjadi salah, menggunakan AI untuk apa-apa jenis Ini adalah benar untuk semua penilaian.”

Mengapakah pengesanan kandungan AI sangat sukar?

Terdapat banyak pengesan di pasaran - GPTZero, Turnitin, GPT-2 Output, Writer AI, Content at Scale AI, dll., tetapi ketepatannya tidak memuaskan.

Jadi, mengapa begitu sukar untuk kita mengesan sama ada sesuatu kandungan dijana oleh AI?

Eric Wang, naib presiden AI di Turnitin, berkata bahawa prinsip menggunakan perisian untuk mengesan penulisan AI adalah berdasarkan statistik. Dari perspektif statistik, perbezaan antara AI dan manusia ialah ia sangat stabil pada tahap purata.

"Sistem seperti ChatGPT adalah seperti versi autolengkap lanjutan, mencari perkataan yang paling mungkin untuk ditulis seterusnya. Itulah sebabnya ia membaca secara semula jadi . Penulisan AI adalah subset yang paling mungkin tulisan manusia "

Pengesan Turnitin kemudiannya akan "mengenal pasti kes purata di mana penulisan terlalu konsisten." Walau bagaimanapun, kadangkala tulisan manusia boleh kelihatan sederhana.

Dalam ekonomi, matematik dan laporan makmal, pelajar cenderung mengikut gaya penulisan tetap, yang bermaksud mereka lebih berkemungkinan tersilap sebagai penulisan AI.

Apa yang lebih menarik ialah dalam kertas kerja tidak lama dahulu, pasukan penyelidik dari Universiti Stanford mendapati bahawa untuk kertas yang ditulis oleh penutur bukan asli, pengesan GPT lebih berkemungkinan untuk menentukan bahawa ia ditulis oleh AI. Antaranya, kebarangkalian bahawa kertas Bahasa Inggeris yang ditulis oleh orang Cina dinilai dihasilkan oleh AI adalah setinggi 61%.

Alamat kertas: https://arxiv.org/pdf/2304.02819.pdf

Para penyelidik memperolehnya daripada forum pendidikan China 91 TOEFL esei dan 88 esei yang ditulis oleh pelajar gred lapan Amerika telah diekstrak daripada set data Yayasan Hewlett di Amerika Syarikat dan dimasukkan ke dalam tujuh pengesan GPT utama.

Peratusan dalam gambar ialah nisbah "salah sangka", iaitu ia ditulis dengan jelas oleh seseorang, tetapi ia adalah

Dapat dilihat bahawa kebarangkalian tertinggi karangan pelajar Amerika disalah anggap hanya 12%, manakala kebarangkalian karangan pelajar Cina disalah anggap pada asasnya lebih daripada separuh, atau setinggi 76%.

Pengkaji membuat kesimpulan bahawa disebabkan tulisan yang ditulis oleh bukan penutur asli adalah tidak sahih dan mempunyai kerumitan yang rendah, maka mudah untuk disalah anggap.

Ia boleh dilihat bahawa adalah tidak munasabah untuk menilai sama ada pengarang adalah manusia atau AI berdasarkan kerumitan.

Atau adakah sebab lain di sebaliknya?

Sebagai tindak balas, saintis NVIDIA Jim Fan berkata pengesan itu tidak boleh dipercayai untuk masa yang lama. Lagipun, AI akan menjadi lebih berkuasa dan menulis dalam cara yang semakin seperti manusia.

Adalah selamat untuk mengatakan bahawa kebiasaan model bahasa kecil ini akan menjadi kurang biasa dari semasa ke semasa.

Saya tertanya-tanya sama ada ini akan menjadi berita baik atau berita buruk untuk pelajar.

Atas ialah kandungan terperinci Keterlaluan! Seorang profesor Amerika menggunakan ChatGPT untuk "mengesahkan" bahawa kertas kerjanya telah diciplak, dan separuh daripada kelas gagal dalam kursus. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!