Tutorial DeepChecks: Mengaut automasi Mesin Ujian Pembelajaran

Tutorial ini meneroka DeepChecks untuk pengesahan data dan ujian model pembelajaran mesin, dan memanfaatkan tindakan GitHub untuk ujian automatik dan penciptaan artifak. Kami akan merangkumi prinsip ujian pembelajaran mesin, fungsi DeepChecks, dan aliran kerja automatik yang lengkap.

imej oleh pengarang

Memahami Ujian Pembelajaran Mesin

Pembelajaran mesin yang berkesan memerlukan ujian yang ketat di luar metrik ketepatan yang mudah. Kita mesti menilai keadilan, keteguhan, dan pertimbangan etika, termasuk pengesanan bias, positif/negatif palsu, metrik prestasi, throughput, dan penjajaran dengan etika AI. Ini melibatkan teknik seperti pengesahan data, pengesahan silang, pengiraan skor F1, analisis matriks kekeliruan, dan pengesanan drift (data dan ramalan). Pemisahan data (kereta api/ujian/pengesahan) adalah penting untuk penilaian model yang boleh dipercayai. Mengautomasikan proses ini adalah kunci untuk membina sistem AI yang boleh dipercayai.

Untuk pemula, asas pembelajaran mesin dengan trek kemahiran python menyediakan asas yang kukuh.

DeepChecks, perpustakaan Python sumber terbuka, memudahkan ujian pembelajaran mesin yang komprehensif. Ia menawarkan pemeriksaan terbina dalam untuk prestasi model, integriti data, dan pengedaran, menyokong pengesahan berterusan untuk penggunaan model yang boleh dipercayai.

Bermula dengan DeepChecks

Pasang DeepChecks menggunakan PIP:

pip install deepchecks --upgrade -q

Pemuatan dan Penyediaan Data (Dataset Pinjaman)

kami akan menggunakan dataset data pinjaman dari DataCamp.

import pandas as pd
loan_data = pd.read_csv("loan_data.csv")
loan_data.head()

Buat dataset DeepChecks:

from sklearn.model_selection import train_test_split
from deepchecks.tabular import Dataset

label_col = 'not.fully.paid'
deep_loan_data = Dataset(loan_data, label=label_col, cat_features=["purpose"])

Ujian Integriti Data

Suite Integriti Data DeepChecks melakukan cek automatik.

Ini menghasilkan laporan yang meliputi: korelasi label ciri, korelasi ciri ciri, pemeriksaan nilai tunggal, pengesanan watak khas, analisis nilai null, konsistensi jenis data, ketidakcocokan rentetan, pengesanan pendua, pengesahan panjang rentetan, label yang bertentangan, dan pengesanan luar.

from deepchecks.tabular.suites import data_integrity
integ_suite = data_integrity()
suite_result = integ_suite.run(deep_loan_data)
suite_result.show_in_iframe() # Use show_in_iframe for DataLab compatibility

Simpan laporan:

Pelaksanaan Ujian Individu

suite_result.save_as_html()

Untuk kecekapan, jalankan ujian individu:

penilaian model dengan deepChecks

from deepchecks.tabular.checks import IsSingleValue, DataDuplicates
result = IsSingleValue().run(deep_loan_data)
print(result.value) # Unique value counts per column

result = DataDuplicates().run(deep_loan_data)
print(result.value) # Duplicate sample count

Kami akan melatih model ensemble (regresi logistik, hutan rawak, bayes naif Gaussian) dan menilai ia menggunakan deepChecks.

pip install deepchecks --upgrade -q

Laporan penilaian model termasuk: lengkung ROC, prestasi segmen yang lemah, pengesanan ciri yang tidak digunakan, perbandingan prestasi ujian kereta api, analisis drift ramalan, perbandingan model mudah, masa kesimpulan model, matriks kekeliruan, dan banyak lagi.

output json:

Contoh Ujian Individu (Label Drift):

import pandas as pd
loan_data = pd.read_csv("loan_data.csv")
loan_data.head()

from sklearn.model_selection import train_test_split
from deepchecks.tabular import Dataset

label_col = 'not.fully.paid'
deep_loan_data = Dataset(loan_data, label=label_col, cat_features=["purpose"])

Automasi dengan tindakan github

Butiran bahagian ini menyediakan aliran kerja GitHub untuk mengautomasikan pengesahan data dan ujian model. Proses ini melibatkan mewujudkan repositori, menambah data dan skrip python (

,

), dan mengkonfigurasi aliran kerja GitHub (data_validation.py) untuk melaksanakan skrip ini dan menyimpan hasilnya sebagai artifak. Langkah terperinci dan coretan kod disediakan dalam input asal. Rujuk repositori train_validation.py untuk contoh yang lengkap. Aliran kerja menggunakan tindakan main.yml, kingabzpro/Automating-Machine-Learning-Testing, dan actions/checkout. actions/setup-python actions/upload-artifact

Kesimpulan

Mengaut automatik ujian pembelajaran mesin menggunakan deepChecks dan tindakan GitHub dengan ketara meningkatkan kecekapan dan kebolehpercayaan. Pengesanan awal isu meningkatkan ketepatan dan keadilan model. Tutorial ini menyediakan panduan praktikal untuk melaksanakan aliran kerja ini, membolehkan pemaju membina sistem AI yang lebih mantap dan boleh dipercayai. Pertimbangkan saintis pembelajaran mesin dengan trek kerjaya Python untuk pembangunan selanjutnya dalam bidang ini.

Atas ialah kandungan terperinci Tutorial DeepChecks: Mengaut automasi Mesin Ujian Pembelajaran. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!