Apakah peranan MLOps?

Adakah anda berminat untuk menjadi jurutera MLOps? Ketahui lebih lanjut tentang peranan Jurutera MLOps hari ini.

Jadi model pembelajaran mesin telah dibina. Ia mencapai prestasi yang diharapkan pada set data pengesahan. Ia adalah keseronokan untuk menggunakan sains data dan kemahiran pembelajaran mesin untuk membina model ini. Walau bagaimanapun, ia tidak begitu membantu untuk menyedari bahawa model itu berjalan dengan baik (belum) pada mesin tempatan anda dalam buku nota Jupyter.

Untuk membolehkan pengguna mendapat manfaat daripada model dan untuk perusahaan memanfaatkan pembelajaran mesin, model tersebut mesti digunakan dalam persekitaran pengeluaran. Walau bagaimanapun, menggunakan dan mengekalkan model pembelajaran mesin bukan tanpa cabaran. Model yang berprestasi baik dalam persekitaran pembangunan mungkin gagal teruk dalam persekitaran pengeluaran. Ini mungkin disebabkan oleh hanyutan data dan konsep dan faktor lain yang menyebabkan kemerosotan prestasi.

Jadi sedar: untuk model pembelajaran mesin berguna, anda perlu melangkaui pembinaan model. Di sinilah MLOp dimainkan. Hari ini, pelajari tentang MLOps dan peranan seorang jurutera MLOps dalam organisasi.

Apakah itu MLOp?

Selalunya, seseorang akan mendapati MLOps ditakrifkan sebagai menggunakan prinsip DevOps pada pembelajaran mesin.

Kitaran hayat pembangunan perisian (SDLC) telah berubah menjadi lebih baik kerana amalan DevOps memudahkan kerjasama merentas fungsi antara pasukan pembangunan dan operasi. Jika anda mengenali seseorang yang bekerja dalam DevOps, anda akan mendengar mereka bercakap tentang saluran paip CI/CD, saluran paip CI/CD automatik, pemantauan aplikasi dan banyak lagi.

Walaupun ini boleh dipindahkan ke aplikasi pembelajaran mesin, terdapat beberapa cabaran khusus dengan sistem pembelajaran mesin. Membina dan menjalankan sistem pembelajaran mesin pembelajaran mesin ialah proses yang lebih kompleks.

Secara umumnya, MLOp boleh dianggap sebagai satu set amalan terbaik untuk membina, menggunakan dan menyelenggara sistem pembelajaran mesin.

Dengan itu, teruskan memahami perkara yang dilakukan oleh jurutera MLOps dalam organisasi anda.

Apakah yang dilakukan oleh jurutera MLOps?

Amalan DevOps boleh digunakan pada sistem pembelajaran mesin. Jika itu MLOps, maka ia adalah tanggungjawab jurutera MLOps untuk mewujudkannya!

Apakah maksudnya? Setelah pasukan sains data membina model, jurutera MLOps menjadikan model itu berjaya dijalankan dengan:

• Penyerahan model pembelajaran mesin automatik
• Sediakan pemantauan untuk saluran paip ML
• Automasikan saluran paip CI/CD untuk mengendalikan data, kod dan perubahan model
• Sediakan latihan semula model automatik
• Tentukan tahap automasi yang diperlukan

Beberapa Cabaran Berkaitan dengan MLOp

Sediakan pemantauan hanya untuk membantu mengenal pasti apabila berlaku masalah. Untuk mendapatkan maklumat yang lebih terperinci tentang prestasi versi model yang berbeza, jurutera MLOps sering menggunakan versi model dan penjejakan percubaan.

Saya menyebut bahawa jurutera MLOps menyediakan latihan semula model dengan tahap automasi yang diingini. Cuba fahami cabaran yang berkaitan dengannya.

Setelah aplikasi digunakan untuk pengeluaran, data yang digunakan oleh model dalam pengeluaran mungkin sangat berbeza daripada data yang digunakan untuk dilatih. Akibatnya, model sedemikian akan berprestasi buruk dan selalunya perlu dilatih semula.

Jurutera MLOps juga mengendalikan latihan semula dan mengautomasikan proses latihan semula dengan mengambil kira kemerosotan prestasi, kekerapan perubahan data dan kos latihan semula model.

Dalam sesetengah syarikat pemula, mungkin terdapat jurutera pembelajaran mesin yang turut memakai topi jurutera MLOps. Di syarikat lain, terdapat DevOps dan jurutera bahagian belakang yang memakai berbilang topi.

MLOp syarikat teknologi besar mungkin sangat berbeza daripada MLOp permulaan peringkat awal. Tahap automasi MLOps juga mungkin berbeza dari organisasi ke organisasi.

Jika anda telah bekerja di syarikat permulaan dan mempunyai pemilikan saluran paip pembelajaran mesin hujung ke hujung (dari latihan model kepada memantau dan menyelenggara sistem pembelajaran mesin), anda sudah pun seorang jurutera MLOps.

Teruja untuk meneroka peranan Jurutera MLOps yang mencabar? Ringkaskan kemahiran yang diperlukan.

Set dan Alat Kemahiran MLOps: Gambaran Keseluruhan

Jurutera MLOps biasanya mempunyai kemahiran kejuruteraan ML, DevOps dan data yang kukuh.

Peranan jurutera MLOps dalam organisasi

• Kemahiran Pembelajaran Mesin: Pengaturcaraan, pengetahuan tentang algoritma dan rangka kerja pembelajaran mesin serta pengetahuan domain
• Kemahiran Kejuruteraan Perisian: Menyoal dan bekerja dengan pangkalan data, menguji model ML, Git dan kawalan versi, rangka kerja seperti FastAPI
• Asas DevOps: Mahir dalam alatan seperti Docker dan Kubernetes
• Penjejakan percubaan: Biasa dengan rangka kerja penjejakan percubaan seperti MLflow
• Organisasi saluran paip data: Persediaan dan automasi menggunakan alatan seperti Prefect dan Airflow Data Pipeline
• Cloud Infrastructure: Biasa dengan penyedia infrastruktur awan seperti AWS, GCP dan Infrastructure as Code tools (IaC) seperti Terraform

Ketahui MLOps

Jika anda berminat untuk mengetahui lebih lanjut tentang MLOps, berikut ialah senarai sumber untuk membantu anda bermula:

• Zoomcamp MLOps DataTalks.Club: Zoomcamp MLOps DataTalks.Club ialah kursus percuma untuk mempelajari semua perkara MLOps - daripada pembinaan model kepada amalan terbaik untuk penggunaan dan pemantauan. Anda akan belajar dengan membina projek yang menggabungkan semua yang telah anda pelajari.
• Pengkhususan MLOps pada Coursera: DeepLearning.Pengkhususan Kejuruteraan Pembelajaran Mesin untuk Pengeluaran (MLOps) AI. Empat kursus utama ini mengajar cara membina sistem pembelajaran mesin gred pengeluaran.
• Repositori MLOps GitHub: Senarai susun atur repositori untuk peningkatan dalam MLOps.

Ringkasan

Dalam artikel ini, tanggungjawab utama jurutera MLOps dalam organisasi dan kemahiran utama MLOps telah diperkenalkan.

Seperti yang dinyatakan sebelum ini, tidak semua jurutera yang melaksanakan MLOps dipanggil jurutera MLOps. Turut dibincangkan ialah bagaimana tahap automasi dan pergantungan pada kerja harian sebenar dalam MLOps berbeza-beza merentas organisasi.

Seperti mana-mana peranan lain, menjadi jurutera MLOps yang berjaya memerlukan kemahiran insaniah seperti komunikasi yang berkesan, kerjasama dan penyelesaian masalah strategik. Yang berkata, jika anda ingin mencuba tangan anda menjadi seorang jurutera MLOps, selamat MLOps!

Atas ialah kandungan terperinci Apakah peranan MLOps?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!