Mentafsir CRISP-ML(Q): Proses Kitaran Hayat Pembelajaran Mesin

Penterjemah |. Bugatti

Penilai |. Sun Shujuan

Pada masa ini, tiada amalan standard untuk membina dan mengurus aplikasi pembelajaran mesin (ML). Projek pembelajaran mesin kurang teratur, kurang kebolehulangan dan cenderung gagal secara langsung dalam jangka masa panjang. Oleh itu, kami memerlukan proses untuk membantu kami mengekalkan kualiti, kemampanan, keteguhan dan pengurusan kos sepanjang kitaran hayat pembelajaran mesin.

Rajah 1. Proses kitaran hayat pembangunan pembelajaran mesin

Proses standard merentas industri untuk membangunkan aplikasi pembelajaran mesin menggunakan kaedah jaminan kualiti (CRISP-ML(Q )) ialah versi CRISP-DM yang dinaik taraf untuk memastikan kualiti produk pembelajaran mesin.

CRISP-ML (Q) mempunyai enam peringkat berasingan:

1 Pemahaman perniagaan dan data

2 Penyediaan data

3 🎜>

4. Penilaian model

5. Penerapan model

6. Walaupun terdapat susunan dalam rangka kerja, output peringkat kemudian boleh menentukan sama ada kita perlu menyemak semula peringkat sebelumnya.

Rajah 2. Jaminan kualiti pada setiap peringkat

Kaedah jaminan kualiti diperkenalkan ke dalam setiap peringkat rangka kerja. Pendekatan ini mempunyai keperluan dan kekangan, seperti metrik prestasi, keperluan kualiti data dan keteguhan. Ia membantu mengurangkan risiko yang memberi kesan kepada kejayaan aplikasi pembelajaran mesin. Ia boleh dicapai dengan memantau dan menyelenggara keseluruhan sistem secara berterusan.

Contohnya: Dalam syarikat e-dagang, hanyutan data dan konsep akan membawa kepada kemerosotan model jika kita tidak menggunakan sistem untuk memantau perubahan ini, syarikat akan mengalami kerugian, iaitu kehilangan pelanggan.

Pemahaman Perniagaan dan Data

Pada permulaan proses pembangunan, kita perlu menentukan skop projek, kriteria kejayaan dan kebolehlaksanaan aplikasi ML. Selepas itu, kami memulakan proses pengumpulan data dan pengesahan kualiti. Prosesnya panjang dan mencabar.

Skop:

Perkara yang kami harap dapat dicapai dengan menggunakan proses pembelajaran mesin. Adakah untuk mengekalkan pelanggan atau mengurangkan kos operasi melalui automasi?

Kriteria Kejayaan:

Kita mesti mentakrifkan perniagaan yang jelas dan boleh diukur, pembelajaran mesin (metrik statistik) dan metrik kejayaan ekonomi (KPI).

Kebolehlaksanaan:

Kami perlu memastikan ketersediaan data, kesesuaian untuk aplikasi pembelajaran mesin, kekangan undang-undang, keteguhan, kebolehskalaan, kebolehtafsiran dan keperluan sumber.

Pengumpulan Data:

Dengan mengumpul data, menjadikannya versi untuk kebolehulangan dan memastikan aliran berterusan data sebenar dan terjana.

Pengesahan Kualiti Data:

Pastikan kualiti dengan mengekalkan perihalan, keperluan dan pengesahan data.

Untuk memastikan kualiti dan kebolehulangan, kami perlu merekodkan sifat statistik data dan proses penjanaan data.

Penyediaan data

Peringkat kedua sangat mudah. Kami akan menyediakan data untuk fasa pemodelan. Ini termasuk pemilihan data, pembersihan data, kejuruteraan ciri, peningkatan data dan normalisasi.

1. Kami bermula dengan pemilihan ciri, pemilihan data dan pengendalian kelas yang tidak seimbang melalui pensampelan berlebihan atau pensampelan terkurang.

2. Kemudian, fokus pada mengurangkan hingar dan mengendalikan nilai yang hilang. Untuk tujuan jaminan kualiti, kami akan menambah ujian unit data untuk mengurangkan nilai yang salah.

3 Bergantung pada model, kami melakukan kejuruteraan ciri dan penambahan data seperti pengekodan dan pengelompokan satu-panas.

4. Ini mengurangkan risiko ciri berat sebelah.

Untuk memastikan kebolehulangan, kami mencipta pemodelan data, transformasi dan saluran paip kejuruteraan ciri.

Kejuruteraan Model

Kekangan dan keperluan fasa pemahaman perniagaan dan data akan menentukan fasa pemodelan. Kita perlu memahami masalah perniagaan dan cara kita akan membangunkan model pembelajaran mesin untuk menyelesaikannya. Kami akan menumpukan pada pemilihan model, pengoptimuman dan latihan, memastikan metrik prestasi model, keteguhan, kebolehskalaan, kebolehtafsiran dan mengoptimumkan sumber storan dan pengkomputeran.

1. Penyelidikan tentang seni bina model dan masalah perniagaan yang serupa.

2. Tentukan penunjuk prestasi model.

3.

4. Fahami pengetahuan domain dengan mengintegrasikan pakar.

5.

6. Pemampatan dan penyepaduan model.

Untuk memastikan kualiti dan kebolehulangan, kami akan menyimpan dan metadata model kawalan versi, seperti seni bina model, data latihan dan pengesahan, hiperparameter dan perihalan persekitaran.

Akhir sekali, kami akan menjejaki percubaan ML dan membuat saluran paip ML untuk mencipta proses latihan yang boleh berulang.

Penilaian Model

Ini adalah peringkat di mana kami menguji dan memastikan model sedia untuk digunakan.

• Kami akan menguji prestasi model pada set data ujian.
• Nilai kekukuhan model dengan menyediakan data rawak atau palsu.
• Tingkatkan kebolehtafsiran model untuk memenuhi keperluan kawal selia.
• Bandingkan hasil dengan metrik kejayaan awal secara automatik atau dengan pakar domain.

Setiap langkah fasa penilaian didokumenkan untuk jaminan kualiti.

Pengedaran Model

Penyerahan model ialah peringkat di mana kami menyepadukan model pembelajaran mesin ke dalam sistem sedia ada. Model ini boleh digunakan pada pelayan, penyemak imbas, perisian dan peranti tepi. Ramalan daripada model tersedia dalam papan pemuka BI, API, aplikasi web dan pemalam.

Proses penggunaan model:

• Tentukan inferens perkakasan.
• Penilaian model dalam persekitaran pengeluaran.
• Pastikan penerimaan dan kebolehgunaan pengguna.
• Sediakan pelan sandaran untuk meminimumkan kerugian.
• Strategi penggunaan.

Pemantauan dan Penyelenggaraan

Model dalam persekitaran pengeluaran memerlukan pemantauan dan penyelenggaraan yang berterusan. Kami akan memantau ketepatan masa model, prestasi perkakasan dan prestasi perisian.

Pemantauan berterusan ialah bahagian pertama proses jika prestasi menurun di bawah ambang, keputusan dibuat secara automatik untuk melatih semula model pada data baharu. Tambahan pula, bahagian penyelenggaraan tidak terhad kepada latihan semula model. Ia memerlukan mekanisme membuat keputusan, memperoleh data baharu, mengemas kini perisian dan perkakasan serta menambah baik proses ML berdasarkan kes penggunaan perniagaan.

Ringkasnya, ia adalah penyepaduan berterusan, latihan dan penggunaan model ML.

Kesimpulan

Melatih dan mengesahkan model ialah sebahagian kecil daripada aplikasi ML. Mengubah idea awal menjadi realiti memerlukan beberapa proses. Dalam artikel ini kami memperkenalkan CRISP-ML(Q) dan cara ia memfokuskan pada penilaian risiko dan jaminan kualiti.

Kami mula-mula mentakrifkan matlamat perniagaan, mengumpul dan membersihkan data, membina model, mengesahkan model dengan set data ujian, dan kemudian menggunakannya ke persekitaran pengeluaran.

Satu komponen utama rangka kerja ini ialah pemantauan dan penyelenggaraan yang berterusan. Kami akan memantau data dan metrik perisian dan perkakasan untuk menentukan sama ada untuk melatih semula model atau menaik taraf sistem.

Jika anda baru dalam operasi pembelajaran mesin dan ingin mengetahui lebih lanjut, baca ​​kursus MLOps percuma​​ disemak oleh DataTalks.Club. Anda akan memperoleh pengalaman praktikal dalam kesemua enam fasa, memahami pelaksanaan praktikal CRISP-ML.

Tajuk asal: ​​Memahami CRISP-ML(Q): Proses Kitar Hayat Pembelajaran Mesin​​, Penulis: Abid Ali Awan

Atas ialah kandungan terperinci Mentafsir CRISP-ML(Q): Proses Kitaran Hayat Pembelajaran Mesin. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!