Microsoft mengeluarkan Phi-3, yang mempunyai prestasi unggul berbanding Llama-3 dan boleh dijalankan pada telefon mudah alih

Data telah menjadi tumpuan untuk meningkatkan keupayaan model besar.

Tidak lama selepas Llama-3 dikeluarkan, pesaing datang, dan mereka adalah model kecil yang boleh dijalankan pada telefon bimbit.

Pada hari Selasa, Microsoft mengeluarkan model bersaiz kecil Phi-3 yang dibangunkan sendiri.

Model baharu ini mempunyai tiga versi, antaranya Phi-3 mini ialah model bahasa dengan 3.8 bilion parameter Selepas latihan dengan 3.3 trilion token, prestasi keseluruhannya telah mencapai keputusan cemerlang pada penanda aras akademik dan ujian dalaman.

Walaupun Phi-3 mini dioptimumkan untuk digunakan pada telefon mudah alih, prestasinya setanding dengan model seperti Mixtral 8x7B dan GPT-3.5. Microsoft berkata inovasi itu terletak terutamanya pada set data yang digunakan untuk latihan.

Pada masa yang sama, Phi-3 menggunakan seni bina yang sama seperti Llama-2, menjadikannya lebih mudah untuk komuniti sumber terbuka untuk membangunkan berdasarkannya.

Sebelum ini, model siri Phi Microsoft telah membangkitkan perbincangan hangat Pada bulan Jun tahun lepas, Microsoft mengeluarkan kertas "Buku Teks Semua yang Anda Perlukan", menggunakan data "kualiti buku teks" hanya token 7B untuk melatih 1.3 Parameter B. model phi-1 mencapai prestasi yang baik.

September lalu, Microsoft terus meneroka laluan ini, membenarkan model bahasa seni bina Transformer parameter 1.3B Phi-1.5 menunjukkan keupayaan pengekodan yang berkuasa.

Pada penghujung tahun lepas, Phi-2 yang dicadangkan oleh Microsoft mempunyai keupayaan akal tertentu, dan keputusan ujian penanda aras berbilangnya melebihi Llama2 7B, Llama2 13B, Mistral 7B dan model lanjutan lain pada tahap 2.7B.

Laporan teknikal Phi-3: https://arxiv.org/abs/2404.14219

Phi-3-mini yang baru dicadangkan ialah bahasa parameter 3.8 bilion yang dilatih pada 3.3 trilion Model token Ujian eksperimen menunjukkan bahawa prestasi keseluruhan phi-3-mini adalah setanding dengan model seperti Mixtral 8x7B dan GPT-3.5 Contohnya, phi-3-mini mencapai 69% pada MMLU dan 8.38 pada MT-bench.

Penyelidikan terdahulu Microsoft tentang siri model phi telah menunjukkan bahawa "data kecil" berkualiti tinggi boleh membolehkan model yang lebih kecil mencapai prestasi yang baik. phi-3-mini dilatih pada data rangkaian yang sangat ditapis dan data sintetik (serupa dengan phi-2), dengan tweak lanjut untuk keteguhan, keselamatan dan pemformatan sembang.

Selain itu, pasukan penyelidik juga menyediakan keputusan pengembangan parameter awal untuk model 7B dan 14B yang dilatih untuk token 4.8T, dipanggil phi-3-small dan phi-3-medium, yang kedua-duanya lebih besar daripada phi-3 - Mini lebih berkebolehan.

Tanda Aras Akademik

Dalam tanda aras sumber terbuka standard, phi-3-mini lawan phi-2, Mistral-7b-v0.1, Mixtral-8x7B, Llama-8x7B, Llama keputusan perbandingan antara instruct8B dan GPT-3.5 ditunjukkan dalam jadual di bawah Untuk memastikan kebolehbandingan, semua keputusan diperoleh melalui saluran paip yang sama.

Security

Phi-3-mini telah dibangunkan mengikut Prinsip Microsoft untuk Kepintaran Buatan Bertanggungjawab. Pendekatan keseluruhan untuk mendapatkan model besar termasuk penalaan keselamatan selepas latihan, ujian pasukan merah, ujian automatik dan penilaian berpuluh-puluh kategori bahaya RAI. Microsoft memanfaatkan set data keutamaan berguna dan tidak berbahaya yang diubah suai [BJN+ 22, JLD+ 23] yang diilhamkan oleh [BSA+ 24] dan berbilang set data yang dijana secara dalaman untuk menangani kategori bahaya RAI untuk keselamatan selepas latihan. Pasukan merah bebas di Microsoft meneliti semula phi-3-mini untuk mengenal pasti lebih lanjut bidang untuk penambahbaikan dalam proses pasca latihan.

Berdasarkan maklum balas daripada pasukan merah, pasukan penyelidik menyusun set data tambahan untuk menambah baik set data selepas latihan. Proses ini menghasilkan pengurangan ketara dalam kadar tindak balas yang merosakkan, seperti yang ditunjukkan dalam Rajah 3.

Jadual di bawah menunjukkan hasil penanda aras RAI dialog berbilang pusingan dalaman bagi phi-3-mini-4k dan phi-3-mini-128k dengan phi-2, Mistral-7B-v0.1, Gemma 7B.Penanda aras ini memanfaatkan GPT-4 untuk mensimulasikan berbilang pusingan perbualan merentas lima kategori berbeza dan menilai respons model.

Kecacatan

Microsoft berkata dari segi keupayaan LLM, walaupun model phi-3-mini telah mencapai tahap pemahaman bahasa dan keupayaan penaakulan yang sama pada beberapa model, ia gagal seperti model besar. tugas Masih pada asasnya terhad oleh saiznya. Sebagai contoh, model itu tidak mempunyai keupayaan untuk menyimpan banyak "pengetahuan fakta", yang boleh dilihat dalam penilaian rendah di TriviaQA. Walau bagaimanapun, penyelidik percaya isu ini boleh ditangani melalui peningkatan enjin carian.

^{Kandungan rujukan: https://news.ycombinator.com/item?id=40127806}

Atas ialah kandungan terperinci Microsoft mengeluarkan Phi-3, yang mempunyai prestasi unggul berbanding Llama-3 dan boleh dijalankan pada telefon mudah alih. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!