Rumah >Peranti teknologi >AI >Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya 'Prompt Project'! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama
Penyelidikan terkini Microsoft sekali lagi membuktikan kuasa Prompt Engineering -
Tidak perlu penalaan halus tambahan atau perancangan pakar, GPT-4 boleh menjadi "pakar" dengan hanya gesaan.
Menggunakan strategi segera terbaru mereka Medprompt, dalam bidang profesional perubatan, GPT-4 mencapai keputusan terbaik dalam sembilan set ujian MultiMed QA.
Pada set data MedQA (soalan Peperiksaan Pelesenan Perubatan Amerika Syarikat), Medprompt membuat ketepatan GPT-4 melebihi 90% buat kali pertama, melepasi BioGPT dan Med-PaLM dan kaedah penalaan halus yang lain.
Para penyelidik juga menyatakan bahawa kaedah Medprompt adalah universal dan bukan sahaja terpakai untuk perubatan, tetapi juga boleh diperluaskan kepada kejuruteraan elektrik, pembelajaran mesin, undang-undang dan jurusan lain.
Sebaik kajian ini dikongsikan di X (sebelum ini Twitter), ia menarik perhatian ramai netizen.
Profesor Wharton School Ethan Mollick, pengarang Artificial Intuition Carlos E. Perez, dsb. telah memajukan dan berkongsinya.
Carlos E. Perez secara langsung berkata bahawa "strategi dorongan yang sangat baik boleh mengambil banyak penalaan halus":
Sesetengah netizen berkata bahawa mereka telah mempunyai firasat ini untuk masa yang lama, dan ia benar-benar keren untuk dilihat hasilnya sekarang!
Sesetengah netizen menganggap ini benar-benar "radikal"
Ensemble shuffling pilihanSeterusnya, kami akan memperkenalkan mereka satu persatuGPT-4 ialah teknologi yang boleh mengubah industri, dan kami jauh daripada menyentuh had gesaan, kami juga tidak mencapai had penalaan halus . . -dijana rantaian pemikiran yang dijana sendiri
Kaedah sebelumnya adalah membenarkan pakar domain
membuat contoh secara manual, tetapi walaupun begitu, tidak ada jaminan bahawa beberapa contoh tetap yang dipilih susun oleh pakar adalah mewakili setiap tugas.
Penyelidik Microsoft mencadangkan kaedah contoh beberapa pukulan dinamik, jadi Ideanya ialah set latihan tugasan boleh digunakan sebagai sumber contoh beberapa pukulan, dan jika set latihan cukup besar, set latihan yang berbeza boleh digunakan. dipilih untuk input tugas yang berbeza Beberapa contoh contoh. Dari segi operasi khusus, para penyelidik mula-mula menggunakan model text-embedding-ada-002 untuk menjana perwakilan vektor bagi setiap sampel latihan dan sampel ujian. Kemudian, bagi setiap sampel ujian, dengan membandingkan kesamaan vektor, k sampel yang paling serupa dipilih daripada sampel latihanBerbanding dengan kaedah penalaan halus, pemilihan beberapa pukulan dinamik menggunakan data latihan, tetapi tidak tidak memerlukan Parameter Model menjalani kemas kini yang meluas.
Rantai pemikiran janaan sendiriKaedah rantaian pemikiran (CoT) ialah kaedah yang membolehkan model berfikir langkah demi langkah dan menjana satu siri langkah penaakulan perantaraan
Kaedah sebelumnya bergantung kepada pakar untuk menulis beberapa contoh secara manual dengan digesa rantai pemikiranDi sini, penyelidik mendapati bahawa GPT-4 hanya boleh diminta untuk menjana rantaian pemikiran untuk contoh latihan menggunakan gesaan berikut:
Tetapi para penyelidik juga menegaskan bahawa rantaian pemikiran yang dijana secara automatik ini mungkin mengandungi penaakulan yang salah langkah, jadi teg pengesahan ditetapkan sebagai penapis, yang boleh mengurangkan ralat dengan berkesan.
Berbanding dengan contoh rantai pemikiran yang dibuat oleh pakar dalam model Med-PaLM 2, prinsip asas rantaian pemikiran yang dijana oleh GPT-4 adalah lebih panjang, dan logik penaakulan langkah demi langkah adalah lebih terperinci. . .
Untuk Untuk menyelesaikan masalah ini, penyelidik memutuskan untuk menyusun semula susunan pilihan asal untuk mengurangkan kesan. Contohnya, susunan pilihan asal ialah ABCD, yang boleh ditukar kepada BCDA, CDAB, dsb. Kemudian biarkan GPT-4 melakukan berbilang pusingan ramalan, menggunakan susunan pilihan yang berbeza dalam setiap pusingan. Ini "memaksa" GPT-4 untuk mempertimbangkan kandungan pilihan. Akhir sekali, undi pada keputusan berbilang pusingan ramalan dan pilih pilihan yang paling konsisten dan betul. Gabungan strategi segera di atas ialah Medprompt. Mari kita lihat keputusan ujian. Optimum dalam pelbagai ujianDalam ujian, penyelidik menggunakan penanda aras penilaian MultiMed QA.Selain itu, penyelidik juga membincangkan prestasi strategi Medprompt pada data "Eyes-Off". Data yang dipanggil "Eyes-Off" merujuk kepada data yang tidak pernah dilihat oleh model semasa latihan atau proses pengoptimuman Ia digunakan untuk menguji sama ada model itu terlalu sesuai dengan data latihan
Hasil GPT-4 digabungkan dengan. strategi Medprompt telah digunakan dalam pelbagai perubatan Ia menunjukkan prestasi yang baik pada set data penanda aras, dengan ketepatan purata 91.3%.
Para penyelidik menjalankan eksperimen ablasi pada dataset MedQA untuk meneroka sumbangan relatif ketiga-tiga komponen kepada prestasi keseluruhan
Antaranya, langkah rantaian pemikiran penjanaan automatik memainkan peranan terbesar dalam meningkatkan prestasi
Skor rantaian pemikiran yang dijana secara automatik oleh GPT-4 adalah lebih tinggi daripada skor yang dipilih susun oleh pakar dalam Med-PaLM 2, dan tiada campur tangan manual diperlukan
Akhirnya, penyelidik juga meneroka keupayaan generalisasi merentas domain Medprompt, menggunakan Enam set data berbeza dalam penanda aras MMLU disertakan, meliputi masalah dalam kejuruteraan elektrik, pembelajaran mesin, falsafah, perakaunan profesional, undang-undang profesional dan psikologi profesional.
Dua set data tambahan yang mengandungi soalan NCLEX (National Nursing Licensure Examination) juga telah ditambah. Keputusan menunjukkan bahawa kesan Medprompt pada set data ini adalah serupa dengan penambahbaikan pada set data perubatan MultiMedQA, dengan ketepatan purata meningkat sebanyak 7.3%.Sila klik pautan berikut untuk melihat kertas kerja: https://arxiv.org/pdf/2311.16452.pdf
Atas ialah kandungan terperinci Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya 'Prompt Project'! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!