Kaedah biasa: mengukur kebingungan model bahasa baharu

Terdapat banyak cara untuk menilai model bahasa baharu, sesetengah daripadanya berdasarkan penilaian oleh pakar manusia, manakala yang lain berdasarkan penilaian automatik. Setiap kaedah ini mempunyai kelebihan dan kekurangan. Artikel ini akan menumpukan pada kaedah kebingungan berdasarkan penilaian automatik.

Perplexity ialah penunjuk yang digunakan untuk menilai kualiti model bahasa. Ia mengukur kuasa ramalan model bahasa yang diberikan satu set data. Lebih kecil nilai kekeliruan, lebih baik keupayaan ramalan model. Metrik ini sering digunakan untuk menilai model pemprosesan bahasa semula jadi untuk mengukur keupayaan model untuk meramal perkataan seterusnya dalam teks tertentu. Kebingungan yang lebih rendah menunjukkan prestasi model yang lebih baik.

Dalam pemprosesan bahasa semula jadi, tujuan model bahasa adalah untuk meramalkan kebarangkalian perkataan seterusnya dalam urutan. Diberi urutan perkataan w_1,w_2,…,w_n, matlamat model bahasa adalah untuk mengira kebarangkalian bersama P(w_1,w_2,…,w_n) bagi urutan itu. Menggunakan peraturan rantai, kebarangkalian bersama boleh diuraikan menjadi hasil darab kebarangkalian bersyarat: P(w_1,w_2,…,w_n)=P(w_1)P(w_2|w_1)P(w_3|w_1,w_2)…P( w_n|. w_1,w_2,…,w_{n-1})

Perplexity ialah penunjuk yang digunakan untuk mengira kebarangkalian bersyarat yang diramalkan menggunakan model. Kebingungan dikira seperti berikut: memandangkan set data ujian D, kebingungan boleh ditakrifkan sebagai kebingungan(D)=sqrt[N]{prod_{i=1}^{N}frac{1}{P(w_i|w_1 , w_2,…,w_{i-1})}}. Antaranya, N mewakili bilangan perkataan dalam set data ujian D, dan P(w_i|w_1,w_2,…,w_{i-1}) mewakili ramalan perkataan ke-i apabila perkataan i-1 pertama diketahui. Lebih rendah kekeliruan, lebih baik model meramalkan data ujian.

Di mana, N mewakili jumlah bilangan perkataan dalam set data D. P(w_i|w_1,w_2,…,w_{i-1}) ialah kebarangkalian bersyarat bagi model meramalkan perkataan ke-i diberi perkataan i-1 yang pertama. Lebih kecil nilai kekeliruan, lebih kuat keupayaan ramalan model.

Prinsip kebingungan

Prinsip kebingungan adalah berdasarkan konsep entropi maklumat. Entropi maklumat ialah ukuran ketidakpastian pembolehubah rawak Ia bermakna bagi pembolehubah rawak diskret

Antaranya, P(x) ialah kebarangkalian pembolehubah rawak X mengambil nilai x. Semakin besar entropi, semakin tinggi ketidakpastian pembolehubah rawak.

Dalam model bahasa, pengiraan kebingungan boleh diubah menjadi purata jumlah nilai entropi kebarangkalian bersyarat bagi setiap perkataan dalam set data ujian D. Lebih kecil nilai kekeliruan, lebih dekat taburan kebarangkalian yang diramalkan oleh model dengan taburan kebarangkalian sebenar, dan lebih baik prestasi model.

Cara melaksanakan kebingungan

Apabila mengira kebingungan, anda perlu menggunakan model bahasa terlatih untuk meramalkan kebarangkalian bersyarat bagi setiap perkataan dalam set data ujian. Secara khusus, langkah berikut boleh digunakan untuk mengira kebingungan:

Untuk setiap perkataan dalam set data ujian, gunakan model bahasa terlatih untuk mengira kebarangkalian bersyaratnya P(w_i|w_1,w_2,…,w_{i- 1}).

Ambil logaritma kebarangkalian bersyarat setiap perkataan untuk mengelakkan aliran bawah atau ralat selepas hasil darab kebarangkalian menjadi jumlah kebarangkalian. Formula pengiraan ialah: log P(w_i|w_1,w_2,…,w_{i-1})

Tambah logaritma negatif kebarangkalian bersyarat bagi setiap perkataan untuk mendapatkan kebingungan set data ujian. Formula pengiraan ialah: perplexity(D)=expleft{-frac{1}{N}sum_{i=1}^{N}log P(w_i|w_1,w_2,…,w_{i-1})right}

Pengiraan kebingungan memerlukan penggunaan model bahasa terlatih, jadi model bahasa perlu dilatih terlebih dahulu semasa pelaksanaan. Terdapat banyak kaedah untuk melatih model bahasa, seperti model n-gram, model bahasa rangkaian saraf, dsb. Semasa latihan, korpus teks berskala besar perlu digunakan supaya model dapat mempelajari hubungan dan taburan kebarangkalian antara perkataan.

Secara amnya, kebingungan ialah penunjuk yang biasa digunakan untuk menilai kualiti model bahasa. Kuasa ramalan model bahasa boleh dinilai dengan mengira purata jumlah nilai entropi kebarangkalian bersyarat bagi setiap perkataan dalam set data ujian. Lebih kecil kekeliruan, lebih dekat taburan kebarangkalian yang diramalkan oleh model dengan taburan kebarangkalian sebenar, dan lebih baik prestasi model.

Atas ialah kandungan terperinci Kaedah biasa: mengukur kebingungan model bahasa baharu. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!