Adakah anda membuat kesilapan ini dalam pemodelan klasifikasi?

Pengenalan

Menilai model pembelajaran mesin bukan sekadar langkah terakhir -ia adalah batu kunci kejayaan. Bayangkan membina model canggih yang mempesonakan dengan ketepatan yang tinggi, hanya untuk mendapati ia runtuh di bawah tekanan dunia sebenar. Penilaian lebih daripada berdetik metrik; Ini mengenai memastikan model anda secara konsisten melakukan di alam liar. Dalam artikel ini, kita akan menyelam ke dalam perangkap biasa yang boleh menjejaskan model klasifikasi yang paling menjanjikan dan mendedahkan amalan terbaik yang dapat meningkatkan model anda dari yang baik hingga luar biasa. Mari kita menghidupkan tugas pemodelan klasifikasi anda menjadi penyelesaian yang boleh dipercayai dan berkesan.

Gambaran Keseluruhan

• Bina model klasifikasi : Bina model klasifikasi pepejal dengan bimbingan langkah demi langkah.
• Kenal pasti kesilapan yang kerap : Tempat dan elakkan perangkap biasa dalam pemodelan klasifikasi.
• Memahami overfitting : Memahami overfitting dan belajar bagaimana untuk mencegahnya dalam model anda.
• Meningkatkan kemahiran membina model : Meningkatkan kemahiran membina model anda dengan amalan terbaik dan teknik canggih.

Jadual Kandungan

• Pengenalan
• Pemodelan Klasifikasi: Gambaran Keseluruhan
• Membina model klasifikasi asas
  • 1. Penyediaan data
  • 2. Regresi logistik
  • 3. Mesin Vektor Sokongan (SVM)
  • 4. Pokok Keputusan
  • 5. Rangkaian Neural dengan Tensorflow
• Mengenal pasti kesilapan
• Contoh regresi logistik yang lebih baik menggunakan carian grid
• Rangkaian saraf dengan tensorflow
• Memahami kepentingan pelbagai metrik
• Visualisasi prestasi model
• Kesimpulan
• Soalan yang sering ditanya

Pemodelan Klasifikasi: Gambaran Keseluruhan

Dalam masalah klasifikasi, kami cuba membina model yang meramalkan label pembolehubah sasaran menggunakan pembolehubah bebas. Seperti yang kita berurusan dengan data sasaran berlabel, kita memerlukan algoritma pembelajaran mesin yang diselia seperti regresi logistik, SVM, pokok keputusan, dan lain -lain. Kami juga akan melihat model rangkaian saraf untuk menyelesaikan masalah klasifikasi, mengenal pasti kesilapan biasa yang mungkin dibuat oleh orang, dan menentukan cara mengelakkannya.

Membina model klasifikasi asas

Kami akan menunjukkan mewujudkan model klasifikasi asas menggunakan dataset tarikh-fruit dari Kaggle. Mengenai dataset: Pembolehubah sasaran terdiri daripada tujuh jenis buah -buahan tarikh: Barhee, Deglet Nour, Sukkary, Rotab Mozafati, Ruthana, Safawi, dan Sagai. Dataset terdiri daripada 898 imej tujuh jenis buah -buahan yang berbeza, dan 34 ciri telah diekstrak melalui teknik pemprosesan imej. Objektifnya adalah untuk mengklasifikasikan buah -buahan ini berdasarkan atribut mereka.

1. Penyediaan data

 Import Pandas sebagai PD

dari sklearn.model_selection import train_test_split

dari Sklearn.Preprocessing Import Standardscaler

# Muatkan dataset

data = pd.read_excel ('/kandungan/date_fruit_datasets.xlsx')

# Memisahkan data ke dalam ciri dan sasaran

X = data.drop ('kelas', paksi = 1)

y = data ['kelas']

# Memisahkan dataset ke dalam latihan dan set ujian

X_train, x_test, y_train, y_test = train_test_split (x, y, test_size = 0.3, random_state = 42)

# Ciri berskala

scaler = standardscaler ()

X_train = scaler.fit_transform (x_train)

X_test = scaler.transform (x_test) 

2. Regresi logistik

 dari sklearn.linear_model import logisticregression

dari sklearn.metrics import accuracy_score

# Model regresi logistik

log_reg = logisticregression ()

log_reg.fit (x_train, y_train)

# Ramalan dan penilaian

y_train_pred = log_reg.predict (x_train)

y_test_pred = log_reg.predict (x_test)

# Ketepatan

train_acc = ketepatan_score (y_train, y_train_pred)

test_acc = ketepatan_score (y_test, y_test_pred)

cetak (regresi f'logistic - ketepatan kereta api: {train_acc}, ketepatan ujian: {test_acc} ')

Hasil:

 - Regresi Logistik - Ketepatan Keretapi: 0.9538<br><br> - Ketepatan Ujian: 0.9222

Juga baca: Pengenalan kepada regresi logistik

3. Mesin Vektor Sokongan (SVM)

 dari Sklearn.svm Import SVC

dari sklearn.metrics import accuracy_score

# SVM

svm = svc (kernel = 'linear', kebarangkalian = benar)

svm.fit (x_train, y_train)

# Ramalan dan penilaian

y_train_pred = svm.predict (x_train)

y_test_pred = svm.predict (x_test)

kereta api_accuracy = ketepatan_score (y_train, y_train_pred)

test_accuracy = ketepatan_score (y_test, y_test_pred)

cetak (f "svm - ketepatan kereta api: {train_accuracy}, ketepatan ujian: {test_accuracy}")

Hasil:

 - SVM - Ketepatan Keretapi: 0.9602<br><br> - Ketepatan Ujian: 0.9074

Juga Baca: Panduan Algoritma Mesin Vektor Sokongan (SVM)

4. Pokok Keputusan

 dari Sklearn.Tree Import DecisionTreeClassifier

dari sklearn.metrics import accuracy_score

# Pokok Keputusan

pokok = DecisionTreeClassifier (random_state = 42)

pokok.fit (x_train, y_train)

# Ramalan dan penilaian

y_train_pred = tre.predict (x_train)

y_test_pred = tree.predict (x_test)

kereta api_accuracy = ketepatan_score (y_train, y_train_pred)

test_accuracy = ketepatan_score (y_test, y_test_pred)

cetak (f "pokok keputusan - ketepatan kereta api: {train_accuracy}, ketepatan ujian: {test_accuracy}")

Hasil:

 - Pokok Keputusan - Ketepatan Keretapi: 1.0000<br><br> - Ketepatan ujian: 0.8222

5. Rangkaian Neural dengan Tensorflow

 import numpy sebagai np

dari sklearn.Preprocessing Import Labelencoder, StandardsCaler

dari sklearn.model_selection import train_test_split

dari model import, lapisan, lapisan tensorflow.keras

dari tensorflow.keras.callbacks import Earlystopping, ModelCheckpoint

# Label mengekodkan kelas sasaran

label_encoder = labelencoder ()

y_encoded = label_encoder.fit_transform (y)

# Keretapi ujian kereta api

X_train, x_test, y_train, y_test = train_test_split (x, y_encoded, test_size = 0.2, random_state = 42)

# Ciri berskala

scaler = standardscaler ()

X_train = scaler.fit_transform (x_train)

X_test = scaler.transform (x_test)

# Rangkaian Neural

Model = Model.Sequential ([

lapisan.dense (64, pengaktifan = 'relu', input_shape = (x_train.shape [1],)),

lapisan.dense (32, pengaktifan = 'relu'),

lapisan.dense (len (np.unique (y_encoded)), pengaktifan = 'softmax') # Pastikan saiz lapisan output sepadan dengan bilangan kelas

])

Model

# Panggilan balik

Early_stopping = EarlyStopping (Monitor = 'Val_Loss', Kesabaran = 10, Restore_Best_Weights = True)

Model_CheckPoint = ModelCheckPoint ('Best_model.keras', Monitor = 'Val_Loss', Save_best_only = True)

# Melatih model

sejarah = model.fit (x_train, y_train, epochs = 100, batch_size = 32, validation_data = (x_test, y_test),

Callbacks = [Early_Stopping, Model_Checkpoint], verbose = 1)

# Menilai model

train_loss, train_accuracy = model.evaluate (x_train, y_train, verbose = 0)

test_loss, test_accuracy = model.evaluate (x_test, y_test, verbose = 0)

cetak (f "rangkaian saraf - ketepatan kereta api: {train_accuracy}, ketepatan ujian: {test_accuracy}")

Hasil:

 - Rangkaian Neural - Ketepatan Keretapi: 0.9234<br><br> - Ketepatan Ujian: 0.9278

Juga baca: Bina rangkaian saraf anda menggunakan tensorflow

Mengenal pasti kesilapan

Model klasifikasi boleh menghadapi beberapa cabaran yang boleh menjejaskan keberkesanannya. Adalah penting untuk mengenali dan menangani masalah ini untuk membina model yang boleh dipercayai. Berikut adalah beberapa aspek kritikal untuk dipertimbangkan:

1. Berlebihan dan tidak sesuai:
   • Cross-validation: Elakkan bergantung semata-mata pada satu perpecahan kereta api tunggal. Gunakan K-Cross-Validation untuk menilai prestasi model anda dengan lebih baik dengan mengujinya pada pelbagai segmen data.
   • Regularization: Model yang sangat kompleks mungkin berlebihan dengan menangkap bunyi dalam data. Kaedah regularization seperti pemangkasan atau regularization harus digunakan untuk menghukum kerumitan.
   • Pengoptimuman HyperParameter: Terokai dan tonton Hyperparameters secara menyeluruh (contohnya, melalui grid atau carian rawak) untuk mengimbangi kecenderungan dan varians.
2. Teknik Ensemble:
   • Agregasi model: Kaedah ensemble seperti hutan rawak atau kecerunan meningkatkan menggabungkan ramalan dari pelbagai model, sering menghasilkan generalisasi yang dipertingkatkan. Teknik -teknik ini dapat menangkap corak yang rumit dalam data sambil mengurangkan risiko terlalu banyak dengan merangka kesilapan model individu.
3. Ketidakseimbangan kelas:
   • Kelas tidak seimbang: Dalam banyak kes, satu kelas mungkin kurang dikira daripada yang lain, yang membawa kepada ramalan bias. Kaedah seperti oversampling, undersampling atau smote mesti digunakan mengikut masalah.
4. Kebocoran data:
   • Kebocoran yang tidak disengajakan: Kebocoran data berlaku apabila maklumat dari luar set latihan mempengaruhi model, menyebabkan metrik prestasi yang melambung. Adalah penting untuk memastikan data ujian tetap tidak kelihatan semasa latihan dan ciri -ciri yang diperolehi daripada pembolehubah sasaran diuruskan dengan berhati -hati.

Contoh regresi logistik yang lebih baik menggunakan carian grid

 dari sklearn.model_selection import gridsearchcv

# Melaksanakan carian grid untuk regresi logistik

param_grid = {'c': [0.1, 1, 10, 100], 'solver': ['lbfgs']}

grid_search = gridSearchCv (logisticRegression (multi_class = 'multinomial', max_iter = 1000), param_grid, cv = 5)

grid_search.fit (x_train, y_train)

# Model terbaik

terbaik_model = grid_search.best_estimator_

# Menilai pada set ujian

test_accuracy = best_model.score (x_test, y_test)

Cetak (f "Regresi Logistik Terbaik - Ketepatan Ujian: {test_accuracy}")

Hasil:

 - Regresi Logistik Terbaik - Ketepatan Ujian: 0.9611

Rangkaian saraf dengan tensorflow

Mari kita fokus pada peningkatan model rangkaian saraf sebelumnya, memberi tumpuan kepada teknik untuk meminimumkan overfitting dan meningkatkan generalisasi.

Perhentian awal dan pemeriksaan model

Perhentian awal berhenti latihan apabila dataran tinggi prestasi model, menghalang overfitting dengan mengelakkan pembelajaran yang berlebihan dari bunyi data latihan.

Pemeriksaan model menjimatkan model yang melakukan yang terbaik pada pengesahan yang ditetapkan sepanjang latihan, memastikan bahawa versi model optimum dipelihara walaupun latihan berikutnya membawa kepada overfitting.

 import numpy sebagai np

dari sklearn.Preprocessing Import Labelencoder, StandardsCaler

dari sklearn.model_selection import train_test_split

dari model import, lapisan, lapisan tensorflow.keras

dari tensorflow.keras.callbacks import Earlystopping, ModelCheckpoint

# Label mengekodkan kelas sasaran

label_encoder = labelencoder ()

y_encoded = label_encoder.fit_transform (y)

# Keretapi ujian kereta api

X_train, x_test, y_train, y_test = train_test_split (x, y_encoded, test_size = 0.2, random_state = 42)

# Ciri berskala

scaler = standardscaler ()

X_train = scaler.fit_transform (x_train)

X_test = scaler.transform (x_test)

# Rangkaian Neural

Model = Model.Sequential ([

lapisan.dense (64, pengaktifan = 'relu', input_shape = (x_train.shape [1],)),

lapisan.dense (32, pengaktifan = 'relu'),

lapisan.dense (len (np.unique (y_encoded)), pengaktifan = 'softmax') # Pastikan saiz lapisan output sepadan dengan bilangan kelas

])

Model

# Panggilan balik

Early_stopping = EarlyStopping (Monitor = 'Val_Loss', Kesabaran = 10, Restore_Best_Weights = True)

Model_CheckPoint = ModelCheckPoint ('Best_model.keras', Monitor = 'Val_Loss', Save_best_only = True)

# Melatih model

sejarah = model.fit (x_train, y_train, epochs = 100, batch_size = 32, validation_data = (x_test, y_test),

Callbacks = [Early_Stopping, Model_Checkpoint], verbose = 1)

# Menilai model

train_loss, train_accuracy = model.evaluate (x_train, y_train, verbose = 0)

test_loss, test_accuracy = model.evaluate (x_test, y_test, verbose = 0)

cetak (f "rangkaian saraf - ketepatan kereta api: {train_accuracy}, ketepatan ujian: {test_accuracy}")

Memahami kepentingan pelbagai metrik

1. Ketepatan : Walaupun penting, ketepatan mungkin tidak sepenuhnya menangkap prestasi model, terutama ketika berurusan dengan pengagihan kelas yang tidak seimbang.
2. Kerugian : Fungsi kerugian menilai seberapa baik nilai yang diramalkan sejajar dengan label yang benar; Nilai kerugian yang lebih kecil menunjukkan ketepatan yang lebih tinggi.
3. Precision, Recall, dan F1-Score : Precision menilai ketepatan ramalan positif, ingat mengukur kejayaan model dalam mengenal pasti semua kes positif, dan keseimbangan F1-skor ketepatan dan penarikan balik.
4. ROC-AUC : Metrik ROC-AUC mengukur keupayaan model untuk membezakan antara kelas tanpa mengira tetapan ambang.

 dari Sklearn.Metrics Import Classification_Report, ROC_AUC_SCORE

# Ramalan

y_test_pred_proba = model.predict (x_test)

y_test_pred = np.argmax (y_test_pred_proba, paksi = 1)

# Laporan Klasifikasi

cetak (klasifikasi_report (y_test, y_test_pred))

# ROC-AUC

roc_auc = roc_auc_score (y_test, y_test_pred_proba, multi_class = 'ovr')

cetak (f'roc-auc skor: {roc_auc} ')

Visualisasi prestasi model

Prestasi model semasa latihan dapat dilihat dengan merancang lengkung pembelajaran untuk ketepatan dan kerugian, menunjukkan sama ada model itu terlalu banyak atau kurang. Kami menggunakan awal berhenti untuk mengelakkan overfitting, dan ini membantu umum untuk data baru.

 import matplotlib.pyplot sebagai PLT

# Plot Latihan & Nilai Ketepatan Pengesahan

PLT.Figure (figsize = (14, 5))

plt.subplot (1, 2, 1)

plt.plot (sejarah.history ['ketepatan'])

plt.plot (history.history ['val_accuracy'])

plt.title ('ketepatan model')

plt.xlabel ('Epoch')

plt.ylabel ('ketepatan')

plt.legend (['kereta api', 'pengesahan'], loc = 'kiri atas')

# Latihan Plot & Nilai Kerugian Pengesahan

PLT.SUBPLOT (1, 2, 2)

plt.plot (sejarah.history ['kehilangan'])

plt.plot (history.history ['val_loss'])

plt.title ('kehilangan model')

plt.xlabel ('Epoch')

plt.ylabel ('kehilangan')

plt.legend (['kereta api', 'pengesahan'], loc = 'kiri atas')

plt.show ()

Kesimpulan

Penilaian yang teliti adalah penting untuk mencegah masalah seperti overfitting dan underfitting. Membina model klasifikasi yang berkesan melibatkan lebih daripada memilih dan melatih algoritma yang betul. Konsistensi dan kebolehpercayaan model boleh dipertingkatkan dengan melaksanakan kaedah ensemble, regularization, penalaan hiperparameter, dan pengesahan silang. Walaupun dataset kecil kami mungkin tidak mengalami overfitting yang ketara, menggunakan kaedah ini memastikan model-modelnya teguh dan tepat, yang membawa kepada pengambilan keputusan yang lebih baik dalam aplikasi praktikal.

Soalan yang sering ditanya

Q1. Mengapa penting untuk menilai model pembelajaran mesin di luar ketepatan?

Ans. Walaupun ketepatan adalah metrik utama, ia tidak selalu memberikan gambaran lengkap, terutamanya dengan dataset yang tidak seimbang. Menilai aspek -aspek lain seperti konsistensi, keteguhan, dan penyebaran memastikan bahawa model berfungsi dengan baik merentasi pelbagai senario, bukan hanya dalam keadaan ujian terkawal.

S2. Apakah kesilapan biasa untuk dielakkan ketika membina model klasifikasi?

Ans. Kesalahan yang biasa termasuk overfitting, underfitting, kebocoran data, mengabaikan ketidakseimbangan kelas, dan gagal mengesahkan model dengan betul. Isu-isu ini boleh membawa kepada model yang berfungsi dengan baik dalam ujian tetapi gagal dalam aplikasi dunia nyata.

Q3. Bagaimanakah saya dapat mengelakkan terlalu banyak model klasifikasi saya?

Ans. Overfitting boleh dikurangkan melalui pengesahan silang, regularization, berhenti awal, dan kaedah ensemble. Pendekatan ini membantu mengimbangi kerumitan model dan memastikan ia umum dengan data baru.

Q4. Metrik apa yang harus saya gunakan untuk menilai prestasi model klasifikasi saya?

Ans. Di luar ketepatan, pertimbangkan metrik seperti Precision, Recall, F1-Score, ROC-AUC, dan kerugian. Metrik ini memberikan pemahaman yang lebih baik tentang prestasi model, terutamanya dalam mengendalikan data tidak seimbang dan membuat ramalan yang tepat.

Atas ialah kandungan terperinci Adakah anda membuat kesilapan ini dalam pemodelan klasifikasi?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!