Apakah KPI yang boleh digunakan untuk mengukur kejayaan projek kecerdasan buatan?

Laporan penyelidikan yang dikeluarkan oleh firma penyelidikan IDC pada Jun 2020 menunjukkan bahawa kira-kira 28% pelan kecerdasan buatan gagal. Sebab yang disebut dalam laporan itu adalah kekurangan kepakaran, kekurangan data yang berkaitan dan kekurangan persekitaran pembangunan bersepadu yang cukup. Untuk mewujudkan proses peningkatan berterusan pembelajaran mesin dan mengelakkan terperangkap, mengenal pasti petunjuk prestasi utama (KPI) kini menjadi keutamaan.

Di bahagian atas industri, saintis data boleh menentukan penunjuk prestasi teknikal model. Mereka akan berbeza-beza bergantung pada jenis algoritma yang digunakan. Dalam kes regresi yang bertujuan untuk meramalkan ketinggian seseorang sebagai fungsi umur mereka, sebagai contoh, seseorang boleh menggunakan pekali penentuan linear.

Persamaan untuk mengukur kualiti ramalan boleh digunakan: Jika kuasa dua pekali korelasi ialah sifar, garis regresi menentukan taburan mata 0%. Sebaliknya, jika pekalinya ialah 100%, bilangannya adalah sama dengan 1. Oleh itu, ini menunjukkan bahawa kualiti ramalan adalah sangat baik.

Penyimpangan ramalan daripada realiti

Satu lagi metrik untuk menilai regresi ialah kaedah kuasa dua terkecil, yang merujuk kepada fungsi kehilangan. Ia melibatkan pengiraan ralat dengan mengira jumlah sisihan kuasa dua antara nilai sebenar dan garis yang diramalkan, dan kemudian menyesuaikan model dengan meminimumkan ralat kuasa dua. Dalam logik yang sama, seseorang boleh menggunakan kaedah ralat mutlak min, yang terdiri dalam mengira purata nilai asas sisihan.

Charlotte Pierron-Perlès, yang bertanggungjawab untuk strategi, data dan perkhidmatan kecerdasan buatan di perundingan Perancis Capgemini, membuat kesimpulan: "Dalam apa jua keadaan, ini sama dengan mengukur jurang daripada apa yang kami cuba ramalkan." 🎜>

Sebagai contoh, Dalam algoritma pengelasan untuk pengesanan spam, adalah perlu untuk mencari positif palsu dan negatif palsu spam. Pierron Perlès menerangkan: “Sebagai contoh, kami membangunkan penyelesaian pembelajaran mesin untuk kumpulan kosmetik yang mengoptimumkan kecekapan barisan pengeluaran Tujuannya adalah untuk mengenal pasti kosmetik yang rosak pada permulaan barisan pengeluaran yang boleh menyebabkan gangguan pengeluaran dengan operator kilang pada Perbincangan diikuti dengan mereka mencari model untuk melengkapkan pengesanan walaupun ia bermakna mengesan positif palsu, iaitu, kosmetik yang layak boleh disalah anggap sebagai rosak ”

Berdasarkan konsep positif palsu dan negatif palsu. tiga metrik lain membenarkan penilaian model pengelasan:

(1) Ingat (R) merujuk kepada ukuran sensitiviti model. Ia ialah nisbah positif benar yang dikenal pasti dengan betul (mengambil ujian coronavirus positif sebagai contoh) kepada semua positif benar yang sepatutnya dikesan (ujian coronavirus positif + ujian coronavirus negatif yang sebenarnya positif): R = positif benar / positif benar + Palsu negatif.

(2) Ketepatan (P) merujuk kepada ukuran ketepatan. Ia ialah nisbah positif benar yang betul (ujian COVID-19 positif) kepada semua keputusan yang ditentukan sebagai positif (ujian COVID-19 positif + ujian COVID-19 negatif): P = positif benar / positif benar + positif palsu.

(3) Min harmonik (skor-F) mengukur keupayaan model untuk memberikan ramalan yang betul dan menolak ramalan lain: F=2×ketepatan×ingat/ketepatan+ingatan semula

Promosi Model

David Tsang Hin Sun, ketua saintis data kanan di syarikat ESNKeyrus Perancis, menekankan: "Sebaik sahaja model dibina, keupayaan generalisasinya akan menjadi penunjuk utama

Jadi bagaimana untuk menganggarkannya? Dengan mengukur perbezaan antara ramalan dan hasil yang dijangkakan, dan kemudian memahami bagaimana perbezaan itu berkembang dari semasa ke semasa. Beliau menerangkan, "Selepas beberapa lama, kami mungkin menghadapi perbezaan. Ini mungkin disebabkan oleh pembelajaran yang kurang (atau terlalu sesuai) disebabkan oleh kurang latihan set data dari segi kualiti dan kuantiti

Jadi apakah penyelesaiannya? Contohnya, dalam kes model pengecaman imej, rangkaian generatif lawan boleh digunakan untuk meningkatkan bilangan gambar yang dipelajari melalui putaran atau herotan. Teknik lain (terpakai untuk algoritma pengelasan): pensampelan minoriti sintetik, yang terdiri daripada meningkatkan bilangan contoh kejadian rendah dalam set data melalui pensampelan berlebihan.

Perselisihan pendapat juga boleh berlaku dalam situasi pembelajaran yang berlebihan. Dalam konfigurasi ini, model tidak akan dihadkan kepada korelasi yang dijangkakan selepas latihan, tetapi disebabkan pengkhususan yang berlebihan, ia akan menangkap hingar yang dijana oleh data medan dan menghasilkan keputusan yang tidak konsisten. DavidTsangHinSun menegaskan, "Maka adalah perlu untuk menyemak kualiti set data latihan dan mungkin melaraskan pemberat pembolehubah

Sementara petunjuk prestasi utama ekonomi (KPI) kekal. Stéphane Roder, Ketua Pegawai Eksekutif firma perunding Perancis AIBuilders, percaya: "Kami perlu bertanya kepada diri sendiri sama ada kadar ralat itu konsisten dengan cabaran perniagaan Contohnya, syarikat insurans Lemonade telah membangunkan modul pembelajaran mesin yang boleh bertindak balas kepada permintaan pelanggan dalam tempoh 3 tahun minit selepas memfailkan maklumat tuntutan (termasuk foto) kepada pelanggan Dengan mengambil kira penjimatan, kadar ralat tertentu mempunyai kos sepanjang hayat model, terutamanya berbanding dengan jumlah kos pemilikan (TCO), dari pembangunan hingga penyelenggaraan. . , sangat penting untuk menyemak ukuran ini ”

Tahap Penggunaan

Walaupun dalam syarikat yang sama, jangkaan penunjuk prestasi utama (KPI) mungkin berbeza-beza. Charlotte Pierron Perlès dari Capgemini menyatakan: "Kami membangunkan enjin ramalan penggunaan untuk peruncit Perancis dengan kedudukan antarabangsa. Ternyata sasaran tepat model berbeza antara produk yang dijual di gedung serbaneka dan produk baharu. Jualan Dynamics yang terakhir bergantung pada faktor , terutamanya yang berkaitan dengan tindak balas pasaran, yang, mengikut definisi, kurang terkawal ”

Penunjuk prestasi utama terakhir ialah tahap penerimaan. Charlotte Pierron-Perlès berkata: "Walaupun model itu berkualiti, ia tidak mencukupi dengan sendirinya. Ini memerlukan pembangunan produk kecerdasan buatan dengan pengalaman berorientasikan pengguna yang boleh digunakan untuk perniagaan dan merealisasikan janji mesin pembelajaran."

Stéphane Roder membuat kesimpulan: "Pengalaman pengguna ini juga akan membolehkan pengguna memberikan maklum balas, yang akan membantu memberikan pengetahuan AI di luar aliran data pengeluaran harian."​

Atas ialah kandungan terperinci Apakah KPI yang boleh digunakan untuk mengukur kejayaan projek kecerdasan buatan?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!