Penipuan ChatGPT menimbulkan kebimbangan, OpenAI: sedang membangunkan alat auditnya sendiri

Dengan kedatangan model generasi bahasa, adakah kerja rumah sekolah akan menjadi sia-sia mulai sekarang? Baru-baru ini, pegawai pendidikan New York City mencetuskan kontroversi apabila mereka mengumumkan larangan pelajar menggunakan ChatGPT di sekolah awam.

Kandungan yang dijana secara automatik oleh model bahasa akan "merujuk" karya sedia ada, dan kelajuan pengeluaran hampir tidak terhad, kebimbangan orang ramai mengenainya telah merebak kepada komuniti akademik AI itu sendiri , dan pembelajaran mesin terkemuka dunia ICML, salah satu persidangan, juga baru-baru ini mengumumkan larangan penerbitan kertas kerja yang mengandungi kandungan yang dijana oleh ChatGPT dan sistem lain yang serupa untuk mengelakkan "akibat yang tidak diingini."

Untuk situasi sedemikian, OpenAI, pencipta ChatGPT, telah mengumumkan bahawa ia sedang berusaha keras untuk membangunkan "mitigasi" untuk membantu orang ramai mengesan teks yang dijana secara automatik oleh AI.

"Kami menggunakan ChatGPT sebagai teknologi pratonton untuk penyelidikan baharu, dengan harapan dapat belajar daripada aplikasi dunia sebenar. Kami melihat ini sebagai pembangunan dan penempatan Bahagian penting sistem AI yang berkuasa dan selamat Kami akan terus belajar daripada maklum balas dan pengajaran yang dipelajari," kata jurucakap syarikat. “OpenAI sentiasa meminta ketelusan apabila menggunakan teks yang dijana oleh AI kami memastikan pengguna bertanggungjawab terlebih dahulu apabila menggunakan API dan alatan kreatif kami untuk populasi yang dimaksudkan untuk mereka… Kami berharap dapat bekerjasama dengan pendidik untuk membangunkan Penyelesaian yang berkesan untuk membantu. guru dan pelajar sama-sama mencari cara untuk mendapat manfaat daripada AI 》

Penggunaan model generatif dalam akademik jika muncul algoritma yang boleh membezakan antara kandungan yang dihasilkan oleh manusia dan mesin. Sekolah akan dapat mengehadkan kertas yang dihasilkan oleh kecerdasan buatan dengan lebih berkesan, dan jika sikap orang ramai berubah dan mengharapkan alat ini membantu pelajar, mungkin kita juga boleh menerima penggunaan AI secara beransur-ansur untuk bantuan dan meningkatkan kecekapan kerja dan belajar.

Kini nampaknya perjalanan masih jauh. Walaupun teks yang dijana AI mungkin kelihatan mengagumkan pada persidangan akademik dan dalam berita tentang sekolah yang melarang mesin daripada menipu esei, anda perlu tahu bahawa mereka sering kekurangan pemahaman dan logik sebenar berbanding dengan tulisan manusia sebenar.

Walaupun alat seperti GPT-3 atau ChatGPT mengejutkan orang ramai dengan memberikan jawapan terperinci yang mengejutkan, terdapat juga pakar yang tidak memihak yang mengatakan ini membuktikan model itu mampu mengekodkan pengetahuan, tetapi apabila mereka melakukannya' t mendapatkan perkara yang betul, jawapan yang mereka berikan selalunya keterlaluan. Profesor ekonomi Kolej Pomona Gary Smith mengingatkan kita supaya tidak tertipu.

Dalam lajur, Gary Smith menunjukkan beberapa contoh ketidakupayaan GPT-3 untuk menaakul dan menjawab soalan dengan berkesan, "Jika anda cuba menggunakan GPT-3, reaksi awal anda Berkemungkinan mengejutkan - ia Nampaknya anda sedang berbual dengan orang yang sangat bijak, bagaimanapun, dan anda dengan cepat mendapati bahawa walaupun GPT-3 boleh menyusun kata-kata dengan cara yang meyakinkan, ia tidak tahu maksudnya perkataan itu , AI boleh berfikir bahawa perkataan ini sering digabungkan oleh itu, GPT-3 boleh dengan mudah membuat kenyataan yang salah tetapi sewenang-wenangnya."

OpenAI pada tahun 2022. ChatGPT dikeluarkan pada bulan Mac, yang merupakan model yang lebih baharu yang dipertingkatkan. berdasarkan GPT-3. Walau bagaimanapun, ia masih mengalami masalah yang sama seperti semua model bahasa sedia ada.

Bagaimana cara menggunakan AI untuk mengesan teks yang dijana AI?

Pada suatu masa dahulu, kandungan teks yang dihasilkan oleh AI masih "palsu sepintas lalu", tetapi sejak kemunculan ChatGPT, diskriminasi seperti ini menjadi semakin sukar untuk dilakukan.

Dalam sektor pendidikan, perdebatan mengenai ChatGPT berkisar tentang kemungkinan menipu. Cari Google untuk "Penulisan esei ChatGPT" dan anda akan temui banyak contoh pendidik, wartawan dan pelajar yang menguji keadaan dengan menggunakan ChatGPT untuk kerja rumah dan ujian esei piawai.

Seorang kolumnis Wall Street Journal menggunakan ChatGPT untuk menulis kertas AP Inggeris yang lulus, manakala seorang wartawan Forbes menggunakannya untuk menyiapkan dua esei kolej dalam masa 20 minit. Dan Gillmor, seorang profesor di Arizona State University, teringat dalam temu bual dengan Guardian bahawa dia cuba memberikan ChatGPT tugasan kepada pelajar dan mendapati bahawa kertas yang dijana AI juga boleh mendapat gred yang baik.

Pada masa ini, beberapa pembangun telah mencipta alat pengesanan untuk kandungan yang dijana oleh ChatGPT - "GPTZero". beberapa saat Dapatkan keputusan analisis dan cepat mengesan sama ada artikel ditulis oleh ChatGPT atau secara manual.

Komen netizen: Pelajar seluruh dunia menangis selepas melihatnya.

Pengarang ialah Edward Tian, ​​​​seorang pelajar di Universiti Princeton, yang menggunakan sebahagian daripada percutiannya untuk menulis GPTZero.

Mari kita lihat proses pengesanan, mula-mula mengambil sekeping kandungan pelaporan daripada New Yorker sebagai contoh (100% pasti ditulis oleh manusia):

Lihat satu lagi kandungan yang dihasilkan oleh ChatGPT untuk ujian:

Prinsip aplikasi GPTZero adalah untuk melakukan analisis dengan bantuan beberapa atribut teks. Yang pertama ialah kebingungan, iaitu kerancuan teks kepada model, atau tahap di mana model bahasa "menyukai" teks; dan kemudian terdapat keterpurukan, iaitu tahap kekeliruan yang ditunjukkan oleh teks tulisan mesin tempoh masa yang lebih seragam dan berterusan, yang tidak berlaku dengan teks tulisan manusia.

GPTZero: "Pelajar, saya minta maaf! Profesor, dialu-alukan!" >Menurut " The Guardian melaporkan bahawa OpenAI sedang membangunkan ciri untuk mengira "tera air" hasil output ChatGPT supaya pembaca boleh menemui corak tersembunyi dalam pemilihan teks AI.

Dalam ucapan di University of Texas, penyelidik tetamu OpenAI Scott Aaronson berkata bahawa syarikat itu sedang mengusahakan sistem untuk memerangi penipuan dengan "menanda air output secara statistik." Aaronson berkata teknologi itu akan berfungsi dengan melaraskan pilihan perkataan khusus yang dipilih oleh ChatGPT secara halus dengan cara yang tidak dapat dilihat oleh pembaca tetapi akan dapat dikesan secara statistik kepada sesiapa yang mencari tanda-tanda teks yang dihasilkan oleh mesin.

"Kami sebenarnya mempunyai prototaip yang berfungsi bagi penyelesaian penanda air," tambah Aaronson. "Nampaknya berprestasi baik - sebagai peraturan biasa, beberapa ratus perkataan nampaknya cukup untuk mendapatkan isyarat: ya, teks ini datang daripada GPT." , Aplikasi berkaitan ChatGPT juga tersebar dengan pantas. Dalam banyak senario, orang tidak mahu bercakap dengan chatbot yang tidak dapat memahami pertanyaan mudah, dan ChatGPT, yang boleh mengatakan beberapa perkataan tentang apa sahaja, boleh menyelesaikan masalah ini. Ada yang berpangkalan di Toronto telah bekerjasama dengan OpenAI untuk menggunakan GPT-3.5, model besar di sebalik ChatGPT, kepada bot sembang perkhidmatan pelanggan, melengkapkan 4.5 bilion interaksi perkhidmatan pelanggan.

Menurut The Information, Microsoft juga telah menandatangani perjanjian pelesenan eksklusif dengan OpenAI dan merancang untuk menyepadukan teknologi ke dalam enjin carian Bing.

CtGPT semakin pantas di jalan mensimulasikan orang sebenar, dan perjuangan menentang pemalsuan ini akan diteruskan.

Atas ialah kandungan terperinci Penipuan ChatGPT menimbulkan kebimbangan, OpenAI: sedang membangunkan alat auditnya sendiri. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!