Satu lagi artifak tafsiran model pembelajaran mesin: Shapash

Apakah itu Shapash

Kebolehtafsiran model dan kebolehfahaman telah menjadi tumpuan banyak kertas penyelidikan dan projek sumber terbuka. Dan banyak projek dilengkapi dengan pakar data dan profesional terlatih.

Shapash berfungsi dengan kebanyakan model sklearn, lightgbm, xgboost, catboost dan boleh digunakan untuk tugasan pengelasan dan regresi. Ia menggunakan bahagian belakang Shap untuk mengira sumbangan tempatan bagi ciri, bagaimanapun, ini boleh digantikan dengan beberapa strategi lain untuk mengira sumbangan tempatan. Saintis data boleh memanfaatkan penterjemah Shapash untuk menyiasat dan menyelesaikan masalah model mereka, atau menggunakan ia untuk memberikan visualisasi bagi setiap inferens. Dan ia juga boleh digunakan untuk membuat aplikasi web yang boleh membawa nilai yang besar kepada pelanggan dan usahawan akhir.

pustaka shabash

Matlamat Shapash

1 Paparkan hasil yang jelas dan munasabah

Lukisan dan output menggunakan setiap Teg untuk komponen dan coraknya:

2. Aplikasi Web

Saintis data boleh meneroka dengan mudah antara kejiranan global dan tempatan dengan menggunakan aplikasi web untuk memahami mereka dengan cepat model dan fahami cara pelbagai perkara utama berfungsi:

apl web perpustakaan shapash

3 Ringkasan dan eksport Penjelasan

Shapash menawarkan ringkasan dan penerangan yang jelas. Ia membolehkan setiap pelanggan, tidak kira apa latar belakang mereka, memahami penjelasan yang jelas tentang model pengehosan kerana ciri Shapash diringkaskan dan dijelaskan dengan jelas.

4. Laporan sains data lengkap

Laporan data lengkap boleh dilihat di sini: https://shapash-demo.ossbymaif.fr/

Ciri Shapash

Beberapa ciri Shapash adalah seperti berikut:

1. Model pembelajaran mesin: Ia sesuai untuk klasifikasi (masalah binari atau berbilang kelas) dan masalah regresi. Ia menyokong berbilang model seperti Catboost, Xgboost, LightGBM, Sklearn Ensemble, model linear dan SVM.

2. Pengekodan ciri: Ia menyokong sejumlah besar teknik pengekodan untuk memproses ciri kategori dalam set data kami, seperti pengekodan satu panas, pengekodan ordinal, pengekodan Base N, pengekodan sasaran atau pengekodan binari, dsb.

3.SklearnColumnTransformer: OneHotEncoder, OrdinalEncoder, StandardScaler, QuantileTransformer atau PowerTransformer

4.Visualization: Menyediakan satu set kesan visual untuk menerangkan hasil anda dengan mudah dan memaparkan hasil yang boleh difahami dan jelas.

5. Ia serasi dengan Lime dan Shap. Ia menggunakan bahagian belakang Shap untuk memaparkan hasil hanya dalam beberapa baris kod.

6. Ia menyediakan banyak pilihan untuk parameter untuk mendapatkan hasil dengan ringkas.

7.Shapash mudah dipasang dan digunakan: Ia menyediakan kelas SmartExplainer untuk memahami model anda dan meringkaskan serta menjelaskannya dengan sintaks yang mudah.

8. Penerapan: Penyiasatan dan penggunaan (melalui API atau mod kelompok) penggunaan operasi adalah penting. Buat aplikasi web dengan mudah untuk menavigasi dari global ke tempatan.

9. Fleksibiliti tinggi: Untuk memaparkan keputusan, banyak hujah diperlukan. Tetapi semakin banyak yang anda lakukan untuk membersihkan dan mengarkibkan data anda, semakin jelas hasilnya untuk pelanggan akhir anda.

Cara Shapash berfungsi

Shapash ialah perpustakaan Python yang menjadikan pembelajaran mesin mudah difahami dan ditafsir. Peminat data boleh memahami dan berkongsi model mereka dengan mudah. Shapash menggunakan Lime dan Shap sebagai bahagian belakang untuk memaparkan hasil hanya dalam beberapa baris kod. Shapash bergantung pada pelbagai kemajuan penting dalam membina model pembelajaran mesin untuk membuat keputusan yang munasabah. Imej di bawah menunjukkan aliran kerja pakej shapash:

Cara Shapash berfungsi

Cara ia berfungsi

1. Pertama, ia menyusun elemen setiap langkah, seperti penyediaan data, kejuruteraan ciri, pemasangan model, penilaian model dan pemahaman model.
2. Kedua, ia menyediakan WebApp dan gambar rajah untuk memahami model dengan lebih baik. Hasil model boleh dikongsi dan dibincangkan dengan pelanggan.
3. Akhir sekali, ia memberi anda ringkasan kebolehtafsiran.

Pemasangan

Shapash boleh dipasang menggunakan kod berikut:

<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pip</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">install</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">shapash</span>

Untuk Buku Nota Jupyter: Jika anda menggunakan buku nota jupyter dan ingin melihat graf sebaris , Kemudian anda perlu menggunakan arahan lain:

<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pip</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">install</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">ipywidgets</span>

Bermula

Di sini kita akan meneroka Shapash menggunakan dataset Ramalan Harga Rumah. Ini adalah masalah regresi dan kita perlu meramalkan harga rumah. Mula-mula kita menganalisis set data, termasuk analisis univariat dan bivariat, kemudian kebolehtafsiran model menggunakan kepentingan ciri, sumbangan ciri, plot tempatan dan perbandingan, kemudian prestasi model, dan akhirnya WebApp.

Analisis Set Data

Analisis Univariat

Penggunaan Anda boleh melihat imej di bawah untuk memahami elemen yang dinamakan Kaki Persegi Tingkat Pertama. Kami boleh melihat jadual yang menunjukkan pelbagai statistik untuk set data latihan dan ujian kami, seperti min, maksimum, minimum, sisihan piawai, median dan banyak lagi. Dalam rajah di sebelah kanan anda boleh melihat plot pengedaran set data latihan dan ujian. Shapash juga menyebut sama ada ciri kami adalah kategori atau angka dan ia juga menyediakan pilihan lungsur di mana semua ciri tersedia.

Analisis univariate

Untuk ciri kategori, set data latihan dan ujian menunjukkan nilai bukan pendua dan tiada. Di sebelah kanan, carta bar ditunjukkan menunjukkan peratusan kategori yang sepadan dalam setiap ciri.

Kategori dalam Ciri

Analisis Matlamat

Anda juga boleh melihat sasaran yang dinamakan Analisis Terperinci Harga Jualan bagi pembolehubah. Di sebelah kiri, semua statistik seperti kiraan, min, sisihan piawai, minimum, maksimum, median, dll. ditunjukkan untuk set data latihan dan ramalan. Di sebelah kanan, pengedaran set data latihan dan ramalan ditunjukkan.

Analisis Sasaran

Analisis Pelbagai

Kami membincangkan analisis univariate secara terperinci di atas. Dalam bahagian ini kita akan melihat analisis multivariate. Rajah berikut menunjukkan matriks korelasi untuk 20 ciri pertama set data latihan dan ujian. Skala korelasi juga ditunjukkan berdasarkan warna yang berbeza. Beginilah cara kami menggunakan Shapash untuk menggambarkan hubungan antara ciri.

Analisis Pelbagai

Kebolehtafsiran Model

Plot Kepentingan Ciri

Lulus Menggunakan perpustakaan ini kita dapat melihat kepentingan ciri ini. Kepentingan ciri ialah kaedah mencari kepentingan ciri input dalam meramalkan nilai keluaran. Rajah berikut menunjukkan lengkung kepentingan ciri:

Plot Kepentingan Ciri

Plot Sumbangan Ciri

Keluk Ini bantu kami menjawab soalan seperti bagaimana ciri mempengaruhi ramalan saya, sama ada sumbangannya positif atau negatif, dsb. Gambar rajah ini melengkapkan kepentingan kebolehtafsiran model, ketekalan keseluruhan model menjadikannya lebih berkemungkinan untuk memahami kesan ciri pada model.

Kita boleh melihat plot sumbangan ciri berangka dan kategori.

Untuk ciri berangka

Plot sumbangan

Untuk ciri kategori

Untuk ciri kategori

Peta separa

Kami boleh melukis peta setempat. Imej di bawah menunjukkan peta separa:

Rajah Separa

Rajah Perbandingan

Kita boleh melukis rajah perbandingan. Imej berikut menunjukkan graf perbandingan:

Graf perbandingan

Prestasi Model

Selepas analisis data, kami sedang melatih model pembelajaran mesin . Imej di bawah menunjukkan output ramalan kami. Di sebelah kiri, statistik seperti kiraan, minimum, maksimum, median, sisihan piawai, dsb. ditunjukkan untuk nilai sebenar dan ramalan. Di sebelah kanan, taburan nilai ramalan dan nilai sebenar ditunjukkan.

Prestasi Model

WebApp

Selepas latihan model, kami juga boleh membina WebApp. Apl web ini menunjukkan papan pemuka lengkap data kami, termasuk perkara yang telah kami bincangkan setakat ini. Imej di bawah menunjukkan papan pemuka.

WebApp

Alamat projek: https://github.com/MAIF/shapash

Tulis di penghujung

Artikel ini memperkenalkan secara ringkas fungsi asas dan paparan lukisan shapash. Saya percaya semua orang mempunyai pemahaman tertentu tentang perpustakaan ular sawa ini.

Atas ialah kandungan terperinci Satu lagi artifak tafsiran model pembelajaran mesin: Shapash. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!