Rumah >Peranti teknologi >AI >Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya 'Prompt Project'! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya 'Prompt Project'! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

王林
王林ke hadapan
2023-12-04 14:25:451168semak imbas

Penyelidikan terkini Microsoft sekali lagi membuktikan kuasa Prompt Engineering -

Tidak perlu penalaan halus tambahan atau perancangan pakar, GPT-4 boleh menjadi "pakar" dengan hanya gesaan.

Menggunakan strategi segera terbaru mereka Medprompt, dalam bidang profesional perubatan, GPT-4 mencapai keputusan terbaik dalam sembilan set ujian MultiMed QA.

Pada set data MedQA (soalan Peperiksaan Pelesenan Perubatan Amerika Syarikat), Medprompt membuat ketepatan GPT-4 melebihi 90% buat kali pertama, melepasi BioGPT dan Med-PaLM dan kaedah penalaan halus yang lain.

Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Para penyelidik juga menyatakan bahawa kaedah Medprompt adalah universal dan bukan sahaja terpakai untuk perubatan, tetapi juga boleh diperluaskan kepada kejuruteraan elektrik, pembelajaran mesin, undang-undang dan jurusan lain.

Sebaik kajian ini dikongsikan di X (sebelum ini Twitter), ia menarik perhatian ramai netizen.

Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Profesor Wharton School Ethan Mollick, pengarang Artificial Intuition Carlos E. Perez, dsb. telah memajukan dan berkongsinya.

Carlos E. Perez secara langsung berkata bahawa "strategi dorongan yang sangat baik boleh mengambil banyak penalaan halus":

Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Sesetengah netizen berkata bahawa mereka telah mempunyai firasat ini untuk masa yang lama, dan ia benar-benar keren untuk dilihat hasilnya sekarang!

Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Sesetengah netizen menganggap ini benar-benar "radikal"

GPT-4 ialah teknologi yang boleh mengubah industri, dan kami jauh daripada menyentuh had gesaan, kami juga tidak mencapai had penalaan halus . . -dijana rantaian pemikiran yang dijana sendiri

Ensemble shuffling pilihan

Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Seterusnya, kami akan memperkenalkan mereka satu persatu

    Pemilihan beberapa pukulan dinamik
  • Pembelajaran yang kurang pantas adalah cara yang berkesan untuk menjadikan model untuk mempelajari konteks. Ringkasnya, masukkan beberapa contoh, biarkan model cepat menyesuaikan diri dengan domain tertentu dan belajar mengikut format tugasan.
  • Contoh beberapa contoh yang digunakan untuk gesaan tugas tertentu biasanya
  • ditetapkan
  • , jadi terdapat keperluan yang tinggi untuk keterwakilan dan keluasan contoh.

Kaedah sebelumnya adalah membenarkan pakar domain

membuat contoh secara manual

, tetapi walaupun begitu, tidak ada jaminan bahawa beberapa contoh tetap yang dipilih susun oleh pakar adalah mewakili setiap tugas. Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Penyelidik Microsoft mencadangkan kaedah contoh beberapa pukulan dinamik, jadi

Ideanya ialah set latihan tugasan boleh digunakan sebagai sumber contoh beberapa pukulan, dan jika set latihan cukup besar, set latihan yang berbeza boleh digunakan. dipilih untuk input tugas yang berbeza Beberapa contoh contoh.

Dari segi operasi khusus, para penyelidik mula-mula menggunakan model text-embedding-ada-002 untuk menjana perwakilan vektor bagi setiap sampel latihan dan sampel ujian. Kemudian, bagi setiap sampel ujian, dengan membandingkan kesamaan vektor, k sampel yang paling serupa dipilih daripada sampel latihan

Berbanding dengan kaedah penalaan halus, pemilihan beberapa pukulan dinamik menggunakan data latihan, tetapi tidak tidak memerlukan Parameter Model menjalani kemas kini yang meluas.

Rantai pemikiran janaan sendiri

Kaedah rantaian pemikiran (CoT) ialah kaedah yang membolehkan model berfikir langkah demi langkah dan menjana satu siri langkah penaakulan perantaraan

Kaedah sebelumnya bergantung kepada pakar untuk menulis beberapa contoh secara manual dengan digesa rantai pemikiran

Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Di sini, penyelidik mendapati bahawa GPT-4 hanya boleh diminta untuk menjana rantaian pemikiran untuk contoh latihan menggunakan gesaan berikut:

Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Tetapi para penyelidik juga menegaskan bahawa rantaian pemikiran yang dijana secara automatik ini mungkin mengandungi penaakulan yang salah langkah, jadi teg pengesahan ditetapkan sebagai penapis, yang boleh mengurangkan ralat dengan berkesan.

Berbanding dengan contoh rantai pemikiran yang dibuat oleh pakar dalam model Med-PaLM 2, prinsip asas rantaian pemikiran yang dijana oleh GPT-4 adalah lebih panjang, dan logik penaakulan langkah demi langkah adalah lebih terperinci. . .

Untuk Untuk menyelesaikan masalah ini, penyelidik memutuskan untuk menyusun semula susunan pilihan asal untuk mengurangkan kesan. Contohnya, susunan pilihan asal ialah ABCD, yang boleh ditukar kepada BCDA, CDAB, dsb. Kemudian biarkan GPT-4 melakukan berbilang pusingan ramalan, menggunakan susunan pilihan yang berbeza dalam setiap pusingan. Ini "memaksa" GPT-4 untuk mempertimbangkan kandungan pilihan.

Akhir sekali, undi pada keputusan berbilang pusingan ramalan dan pilih pilihan yang paling konsisten dan betul.

Gabungan strategi segera di atas ialah Medprompt. Mari kita lihat keputusan ujian.

Optimum dalam pelbagai ujian

Dalam ujian, penyelidik menggunakan penanda aras penilaian MultiMed QA.

GPT-4, yang menggunakan strategi dorongan Medprompt, mencapai markah tertinggi dalam kesemua sembilan set data penanda aras MultiMedQA, mengatasi prestasi Flan-PaLM 540B dan Med-PaLM 2.

Selain itu, penyelidik juga membincangkan prestasi strategi Medprompt pada data "Eyes-Off". Data yang dipanggil "Eyes-Off" merujuk kepada data yang tidak pernah dilihat oleh model semasa latihan atau proses pengoptimuman Ia digunakan untuk menguji sama ada model itu terlalu sesuai dengan data latihan

Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Hasil GPT-4 digabungkan dengan. strategi Medprompt telah digunakan dalam pelbagai perubatan Ia menunjukkan prestasi yang baik pada set data penanda aras, dengan ketepatan purata 91.3%.

Para penyelidik menjalankan eksperimen ablasi pada dataset MedQA untuk meneroka sumbangan relatif ketiga-tiga komponen kepada prestasi keseluruhan

Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Antaranya, langkah rantaian pemikiran penjanaan automatik memainkan peranan terbesar dalam meningkatkan prestasi

Skor rantaian pemikiran yang dijana secara automatik oleh GPT-4 adalah lebih tinggi daripada skor yang dipilih susun oleh pakar dalam Med-PaLM 2, dan tiada campur tangan manual diperlukanMicrosoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Akhirnya, penyelidik juga meneroka keupayaan generalisasi merentas domain Medprompt, menggunakan Enam set data berbeza dalam penanda aras MMLU disertakan, meliputi masalah dalam kejuruteraan elektrik, pembelajaran mesin, falsafah, perakaunan profesional, undang-undang profesional dan psikologi profesional. Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Dua set data tambahan yang mengandungi soalan NCLEX (National Nursing Licensure Examination) juga telah ditambah.

Keputusan menunjukkan bahawa kesan Medprompt pada set data ini adalah serupa dengan penambahbaikan pada set data perubatan MultiMedQA, dengan ketepatan purata meningkat sebanyak 7.3%.

Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya Prompt Project! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama

Sila klik pautan berikut untuk melihat kertas kerja: https://arxiv.org/pdf/2311.16452.pdf

Atas ialah kandungan terperinci Microsoft menjadikan GPT-4 sebagai pakar perubatan dengan hanya 'Prompt Project'! Lebih daripada sedozen model yang sangat halus, ketepatan ujian profesional melebihi 90% untuk kali pertama. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan:
Artikel ini dikembalikan pada:51cto.com. Jika ada pelanggaran, sila hubungi admin@php.cn Padam