Kajian Apple Baharu Menunjukkan Penaakulan AI Mempunyai Kelemahan Kritikal

Tidak menghairankan bahawa AI tidak selalu menyelesaikan masalah. Kadang-kadang, ia juga berhalusinasi. Walau bagaimanapun, kajian terbaru oleh penyelidik Apple telah menunjukkan kelemahan yang lebih ketara dalam model matematik yang digunakan oleh AI untuk penaakulan formal.

✕ Alih Keluar Iklan

Sebagai sebahagian daripada kajian, saintis Apple bertanya Model Bahasa Besar AI (LLM) soalan, beberapa kali, dalam cara yang sedikit berbeza, dan terkejut apabila mereka mendapati LLM menawarkan variasi yang tidak dijangka dalam jawapan. Variasi ini paling ketara apabila nombor terlibat.

Kajian Apple Mencadangkan Masalah Besar Dengan Kebolehpercayaan AI

Penyelidikan yang diterbitkan oleh arxiv.org, menyimpulkan terdapat "kebolehubahan prestasi yang ketara di seluruh instantiasi berbeza bagi soalan yang sama, mencabar kebolehpercayaan keputusan GSM8K semasa yang bergantung pada metrik ketepatan titik tunggal." GSM8K ialah set data yang merangkumi lebih 8000 soalan dan jawapan matematik sekolah gred yang pelbagai.

✕ Alih Keluar Iklan

Penyelidik Apple mengenal pasti varians dalam prestasi ini boleh mencapai sehingga 10%. Dan walaupun sedikit variasi dalam gesaan boleh menyebabkan masalah besar dengan kebolehpercayaan jawapan LLM.

Dalam erti kata lain, anda mungkin mahu menyemak fakta jawapan anda pada bila-bila masa anda menggunakan sesuatu seperti ChatGPT. Ini kerana, walaupun kadangkala kelihatan seperti AI menggunakan logik untuk memberi anda jawapan kepada pertanyaan anda, logik bukanlah perkara yang digunakan.

AI, sebaliknya, bergantung pada pengecaman corak untuk memberikan respons kepada gesaan. Walau bagaimanapun, kajian Apple menunjukkan bagaimana perubahan walaupun beberapa perkataan yang tidak penting boleh mengubah pengecaman corak tersebut.

Salah satu contoh varians kritikal yang dibentangkan berlaku melalui masalah mengenai pengumpulan kiwi selama beberapa hari. Penyelidik Apple menjalankan percubaan kawalan, kemudian menambah beberapa maklumat yang tidak penting tentang saiz kiwi.

✕ Alih Keluar Iklan

Kedua-dua Model Meta dan OpenAI Ditunjukkan Isu

Meta's Llama dan OpenAI's o1, kemudian mengubah jawapan mereka kepada masalah daripada kawalan walaupun data saiz kiwi tidak mempunyai pengaruh ketara terhadap hasil masalah. GPT-4o OpenAI juga menghadapi masalah dengan prestasinya apabila memperkenalkan variasi kecil dalam data yang diberikan kepada LLM.

Memandangkan LLM menjadi lebih menonjol dalam budaya kita, berita ini menimbulkan kebimbangan besar tentang sama ada kita boleh mempercayai AI untuk memberikan jawapan yang tepat kepada pertanyaan kami. Terutama untuk isu seperti nasihat kewangan. Ia juga mengukuhkan keperluan untuk mengesahkan maklumat yang anda terima dengan tepat apabila menggunakan model bahasa yang besar.

Ini bermakna anda perlu melakukan beberapa pemikiran kritis dan usaha wajar dan bukannya bergantung pada AI secara membuta tuli. Sekali lagi, jika anda seorang yang kerap menggunakan AI, anda mungkin sudah mengetahuinya.

✕ Alih Keluar Iklan

Atas ialah kandungan terperinci Kajian Apple Baharu Menunjukkan Penaakulan AI Mempunyai Kelemahan Kritikal. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!