AI tidak boleh mengalahkan AI! Pengesan ChatGPT kerap menuduh pelajar yang tidak bersalah dan digunakan oleh 2.1 juta guru

Apakah perasaan anda apabila anda secara tidak bersalah dilabel sebagai "menipu" oleh AI?

Ini berlaku kepada Lucy Goetz, seorang senior sekolah menengah. Dia pada asalnya menulis kertas asal mengenai sosialisme yang mendapat markah tertinggi.

Walau bagaimanapun, pengesan tulisan AI Turnitin sebenarnya mengatakan bahawa penghujung kertas Goetz dijana menggunakan ChatGPT.

Goetz berkata dengan terkejut, "Saya sangat gembira dapat mengekalkan hubungan baik dengan guru-guru."

Pendek kata, mujur cikgu memahami saya, kalau tidak, saya tidak mampu membersihkan diri walaupun saya terjun ke Sungai Kuning.

Apa yang lebih mengejutkan ialah pengesan ChatGPT ini kini digunakan oleh 2.1 juta guru.

AI Tidak Boleh Mengalahkan AI

Bahagian bertanda kertas Goetz adalah anomali, tetapi ia menunjukkan bahawa pengesan kadangkala membuat kesilapan.

Jelas sekali, AI tidak boleh mengalahkan AI. Ini boleh membawa kesan buruk kepada ramai pelajar.

Untuk menguji pengesan Turnitin, wartawan Geoffrey A. Fowler menguji 5 pelajar sekolah menengah termasuk Goetz.

Mereka mencipta 16 sampel kertas yang meliputi sumber sebenar, dijana AI dan campuran.

Apakah keputusannya?

Pengesan Turnitin mempunyai ralat dalam sekurang-kurangnya separuh daripada sampel Ia hanya mengenal pasti 6 artikel dengan tepat, tetapi gagal mengesan kesemua 3 artikel. Ini termasuk ralat penandaan dalam 8% kertas asal Goetz.

Bagi 7 artikel yang tinggal, Fowler berkata, "Saya hanya akan memberikannya skor separa kerana penilaiannya secara amnya betul, tetapi ia salah mengenal pasti beberapa ChatGPT. Jana atau campurkan bahagian penulisan sumber Walau bagaimanapun, Turnitin mendakwa ketepatan keseluruhan 98% untuk pengesannya. Syarikat itu juga mengatakan bahawa dalam ujiannya sendiri, situasi seperti kertas Goetz (iaitu, positif palsu) berlaku kurang daripada 1 peratus pada masa itu.

Halaman perincian pengesan AI Turnitin memberikan skor keseluruhan dan menyerlahkan ayat yang dijana AI yang disyaki. Syarikat itu berkata ia sengaja menandakan petikan yang disyaki dijana oleh AI dengan warna biru dan bukannya merah dan memautkan sumber guru di bawah skor.

Rebecca Dell, seorang guru AP Bahasa Inggeris di Goetz di Concord, California, berkata sistem Turnitin menanda teks AI tidak selalu berfungsi, yang membimbangkan.

Tidak seperti tuduhan plagiarisme, penipuan AI tidak mempunyai dokumen sumber sebagai bukti, iaitu cara paling mudah untuk guru bersikap berat sebelah terhadap pelajar.

Mungkin tidak semua orang senasib Goetz.

Goetz berkata, “Bagi pelajar, dituduh menipu AI amat menakutkan Melainkan guru anda memahami gaya penulisan anda atau sangat menyayangi anda. jika tidak, tiada cara untuk membuktikan bahawa anda tidak menipu."

Mengapa pengesanan AI begitu sukarSejak ChatGPT dilancarkan, ia telah digunakan oleh pelajar dan guru di banyak universiti dalam kerja rumah harian dan pengajaran .

Walau bagaimanapun, jika tidak dihadkan, ChatGPT akan menjadi alat penipuan yang paling berkuasa dalam sejarah, membantu pelajar menulis kerja rumah dan juga menyiapkan kertas peperiksaan.

Untuk menentang peninjauan, pengesan yang ringkas dan mudah digunakan telah menjadi perkara yang dinantikan oleh guru. Seorang pelajar Universiti Princeton berusia 22 tahun, Edward Tian, ​​membangunkan pengesan sendiri-GPTZero.

Malah, OpenAI secara rasmi mengumumkan pelancaran alat baharu, pengesan fail yang dipanggil AI Text Classifier.

Walau bagaimanapun, prestasi pengesan ini tidak memuaskan.

Mengesan kandungan ciptaan AI kelihatan mudah. Tetapi apabila anda diberi e-mel tulisan tangan dan e-mel yang dihasilkan oleh ChatGPT, hampir mustahil untuk kami membezakannya.

Eric Wang, naib presiden kecerdasan buatan di Turnitin, berkata menggunakan perisian untuk mengesan penulisan kecerdasan buatan melibatkan statistik. Dari perspektif statistik, apa yang membezakan kecerdasan buatan daripada manusia ialah ia sangat stabil pada tahap purata.

Secara terus terang, tahap AI sangat stabil. Walau bagaimanapun, ini sebenarnya tidak berlaku.

"Sistem seperti ChatGPT adalah seperti versi lanjutan autolengkap, mencari perkataan yang paling mungkin untuk ditulis seterusnya. Itulah sebabnya sebab penulisan AI berbunyi jadi secara semula jadi adalah subset tulisan manusia yang paling berkemungkinan akan "mengenal pasti bahawa penulisan adalah terlalu konsisten". Cabarannya ialah kadangkala tulisan manusia sebenarnya boleh kelihatan sederhana.

Dalam ekonomi, matematik dan laporan makmal, pelajar cenderung mengikut gaya penulisan yang ditetapkan, bermakna mereka lebih berkemungkinan tersilap sebagai penulisan AI.

Ini mungkin sebab Turnitin tersilap menandakan kertas Goetz kerana kandungannya berkaitan dengan ekonomi.

Wang berkata Turnitin bekerja keras untuk menyesuaikan sistemnya untuk memerlukan tahap keyakinan yang lebih tinggi sebelum melabelkan ayat sebagai dijana AI untuk melakukan kesilapan dalam hal ini.

juga mengatakan bahawa perisiannya telah mencapai kemajuan yang besar. "Apabila saya mula-mula menguji kertas Goetz pada akhir Januari, perisian itu mengenal pasti kira-kira 50% daripadanya sebagai Turnitin menjalankan sampel saya melalui sistemnya sekali lagi pada akhir Mac, dan pada masa itu hanya 8 daripada kertas Goetz telah dijana oleh AI. 》

Pengesan Turnitin juga menghadapi had teknikal penting yang lain.

Daripada 6 sampel yang dikesan dengan betul sepenuhnya, semuanya jelas 100% hasil kerja pelajar, atau dicipta oleh Dijana oleh SembangGPT.

Tetapi apabila diuji dengan kertas yang mencampurkan AI dan sumber manusia, ia sering tersilap mengenal pasti ayat individu, atau terlepas bahagian manusia sepenuhnya. Dan ia tidak dapat mencari kesan ChatGPT dalam kertas yang diproses melalui Quillbot, program penulisan semula yang boleh menggabungkan semula ayat.

Selain itu, pengesan Turnitin mungkin sudah ketinggalan berbanding tahap semasa teknologi kecerdasan buatan.

Oleh kerana mengambil ChatGPT sebagai contoh, ia kini telah diberkati oleh GPT-4 dan mempunyai keupayaan yang lebih kreatif dan bergaya.

Saintis NVIDIA Jim Fan berkata, saya rasa pengesan itu tidak boleh dipercayai dalam jangka masa panjang. Kecerdasan buatan akan menjadi lebih baik dan lebih baik dan menulis dengan cara yang semakin seperti manusia. Adalah selamat untuk mengatakan bahawa ciri model bahasa ini akan berkurangan dari semasa ke semasa.

Adakah idea yang baik untuk menggunakan AI untuk pengesanan?

Mengapa melepaskan pengesan AI apabila terdapat potensi ralat (walaupun hanya 1%)?

"Guru mahu mempunyai kesan pencegahan," kata Chechitelli. Walau bagaimanapun, sesetengah pendidik bimbang bahawa ini sebenarnya boleh meningkatkan tahap tekanan pelajar.

Pada 4 April, Turnitin telah mengaktifkan ujian ChatGPT ini untuk kira-kira 10,700 institusi pendidikan menengah dan tinggi Mesin ini menyediakan "AI -generated" pemarkahan dan analisis ayat demi ayat tugasan pelajar.

Mitchel Sollenberger, naib provost untuk pendidikan digital di University of Michigan-Dearborn, meminta Turnitin untuk tidak mengaktifkan pengesanan AI untuk kampusnya dalam keluaran awal.

Dia bimbang guru yang menguji kira-kira 20,000 kertas pelajar setiap semester melalui Turnitin mungkin menerima positif palsu, yang membawa kepada Tinjauan Integriti Akademik. Guru tidak dijangka menjadi pakar dalam sistem perisian pihak ketiga.

Atas ialah kandungan terperinci AI tidak boleh mengalahkan AI! Pengesan ChatGPT kerap menuduh pelajar yang tidak bersalah dan digunakan oleh 2.1 juta guru. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!