Manusia masih mempunyai kuasa kewangan: Kajian menunjukkan ChatGPT lebih rendah daripada pelajar kolej dalam peperiksaan perakaunan

Prestasi ChatGPT dalam peperiksaan perakaunan jauh lebih rendah daripada manusia, malah ia bercakap mengarut yang serius untuk membenarkan jawapan yang salah.

Wood, seorang profesor perakaunan di Universiti Brigham Young di Amerika Syarikat, dan pasukannya memutuskan untuk menguji ChatGPT untuk melihat sama ada ia boleh menjawab soalan daripada kursus perakaunan kolej. Mereka melancarkan panggilan di media sosial yang menarik 327 kolaborator daripada 186 institusi pendidikan di 14 negara. Mereka menyediakan sejumlah 25,181 soalan peperiksaan perakaunan merangkumi bidang seperti sistem maklumat perakaunan, pengauditan, perakaunan kewangan, perakaunan pengurusan dan percukaian. Mereka juga menjemput pelajar BYU, termasuk anak perempuan Wood, Jessica, untuk memasukkan 2,268 soalan peperiksaan buku teks ke dalam ChatGPT.

Hasilnya menunjukkan bahawa walaupun prestasi ChatGPT mempunyai titik terang, ia secara amnya tidak sebaik tahap pelajar. Purata markah pelajar ialah 76.7%, manakala purata skor ChatGPT hanya 47.4%. Pada 11.3% soalan, ChatGPT mendapat markah lebih tinggi daripada purata pelajar, terutamanya dalam sistem maklumat perakaunan dan pengauditan. Walau bagaimanapun, ChatGPT gagal apabila ia berkaitan dengan cukai, kewangan dan pengurusan, mungkin kerana bidang ini memerlukan lebih banyak kemahiran matematik. Dari segi jenis soalan, ChatGPT lebih baik pada soalan benar-salah (kadar betul 68.7%) dan soalan aneka pilihan (kadar betul 59.5%), tetapi bergelut dengan soalan jawapan pendek (kadar betul antara 28.7% dan 39.1%). Secara umumnya, soalan yang memerlukan pemikiran aras tinggi adalah lebih sukar untuk dijawab oleh ChatGPT. Kadangkala, ChatGPT juga akan memberikan penjelasan yang berwibawa untuk jawapan yang salah, atau memberikan jawapan yang berbeza kepada soalan yang sama.

"Ia tidak sempurna, anda tidak boleh mengharapkan ia melakukan segala-galanya." Jessica berkata, "Bodoh untuk hanya bergantung pada ChatGPT untuk belajar." menemui beberapa fenomena menarik lain:

ChatGPT Kadangkala anda tidak tahu bahawa anda sedang melakukan masalah matematik, dan anda akan membuat beberapa kesilapan yang tidak masuk akal, seperti menambah dua nombor pada masalah penolakan, atau melakukan pengiraan pembahagian salah.

• ChatGPT sering memberikan penjelasan untuk jawapannya, walaupun ia salah. Kadangkala, penerangan ChatGPT adalah betul, tetapi ia memilih pilihan yang salah.
• CtGPT kadangkala mengada-ngada. Sebagai contoh, apabila memberikan rujukan, ia akan menghasilkan rujukan yang kelihatan nyata, tetapi sebenarnya rekaan sepenuhnya, malah kadangkala pengarangnya tidak wujud.
• Walau bagaimanapun, para penyelidik percaya bahawa dalam versi akan datang, ChatGPT akan membuat penambahbaikan dalam isu perakaunan dan menyelesaikan isu di atas. Perkara yang mereka lihat paling menjanjikan ialah chatbot boleh membantu meningkatkan pengajaran dan pembelajaran, seperti mereka bentuk dan menguji tugasan, atau digunakan untuk mendraf bahagian projek.

"Ini adalah peluang untuk merenung dan melihat sama ada kami mengajar maklumat yang berharga," kata Larson, seorang profesor perakaunan di BYU dan salah seorang pengarang bersama kajian "Ini adalah gangguan menilai apa yang kami lakukan seterusnya. Sudah tentu, saya masih akan mempunyai pembantu pengajar, tetapi kandungan kerja mereka akan berbeza.”

Kajian itu diterbitkan dalam jurnal Issues in Accounting Education.

Atas ialah kandungan terperinci Manusia masih mempunyai kuasa kewangan: Kajian menunjukkan ChatGPT lebih rendah daripada pelajar kolej dalam peperiksaan perakaunan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!