首頁  >  文章  >  科技週邊  >  MLOps角色是什麼

MLOps角色是什麼

PHPz
PHPz轉載
2023-05-09 11:40:07963瀏覽

你有興趣成為 MLOps 工程師嗎?今天就詳細了解 MLOps 工程師角色。

所以已經建立了一個機器學習模型。它在驗證數據集上達到了預期的性能。很高興能夠應用資料科學和機器學習技能來建立此模型。但是,意識到該模型在 Jupyter notebook 中在本機上運作良好(目前)並不是很有幫助。

為了讓使用者從模型中受益並讓企業利用機器學習,必須將模型部署到生產環境中。然而,部署和維護機器學習模型並非沒有挑戰。在開發環境中表現良好的模型在生產環境中可能會慘敗。這可能是由於數據和概念漂移以及其他導致性能下降的因素造成的。

所以意識到:要讓機器學習模型有用,必須超越模型建構。這就是 MLOps 發揮作用的地方。今天,將了解 MLOps 以及MLOps 工程師在組織中的角色。

什麼是 MLOps?

通常,會發現 MLOps 被定義為將 DevOps 原則應用於機器學習。

隨著 DevOps 實踐簡化了開發和營運團隊之間的跨職能協作,軟體開發生命週期 (SDLC) 變得更好。如果認識 DevOps 工作的人,會聽過他們談論 CI/CD 管道、自動化 CI/CD 管道、應用程式監控等。

儘管這可以轉移到機器學習應用程式中,但機器學習系統存在一些特定的挑戰。建構和運行機器學習機器學習系統是一個更複雜的過程。

所以一般來說,可以將 MLOps 視為建置、部署和維護機器學習系統的一組最佳實踐。

有了這個想法,繼續了解組織中的 MLOps 工程師的工作。

MLOps 工程師做什麼?

可以將 DevOps 實踐應用於機器學習系統。如果那是 MLOps,那麼 MLOps 工程師就有責任做到這一點!

這是什麼意思?一旦資料科學團隊建立了模型,MLOps 工程師就會透過以下方式使模型成功運行:

  • 自動化機器學習模型部署
  • 為ML 管道設定監控
  • 自動化CI/CD 管道以處理資料、程式碼和模型變更
  • 設定自動模型再訓練
  • #確定所需的自動化程度

與MLOps 相關的一些挑戰

設定監控只能協助辨識何時出現問題。為了獲得有關模型不同版本性能的更詳細信息,MLOps 工程師經常使用模型版本控制和實驗追蹤。

我\提到 MLOps 工程師會設定具有所需自動化等級的模型再訓練。嘗試了解與之相關的挑戰。

一旦將應用程式部署到生產環境中,模型在生產環境中使用的資料可能與訓練它的資料截然不同。結果,這樣的模型會表現得很差,經常不得不重新訓練。

MLOps 工程師也透過考慮效能下降、資料變更頻率和模型再訓練成本來處理再訓練和再訓練流程的自動化。

在一些新創公司中,可能擁有機器學習工程師,也戴著 MLOps 工程師的帽子。而在其他一些公司中,擁有身兼數職的 DevOps 和後端工程師。

一家大型科技公司的 MLOps 可能與早期新創公司的 MLOps 大不相同。 MLOps 自動化程度也可能因組織而異。

如果一直在一家新創公司工作,擁有端到端機器學習管道(從模型訓練到監控和維護機器學習系統)的所有權,那麼也已經是一名 MLOps 工程師了。

對探索 MLOps 工程師這一具有挑戰性的角色感到興奮嗎?總結一下需要的技能。

MLOps 技能集與工具:概述

#MLOps 工程師通常具有強大的 ML、DevOps 和資料工程技能。

MLOps角色是什麼

MLOps 工程師在組織中的角色

  • 機器學習技能:程式設計、機器學習演算法和框架的工作知識以及領域知識
  • 軟體工程技能:查詢和使用資料庫、測試ML 模型、Git 和版本控制、FastAPI 等框架
  • DevOps基礎:熟練Docker、Kubernetes等工具
  • 實驗追蹤:熟悉MLflow等實驗追蹤框架
  • 編排資料管道:使用Prefect 和Airflow 等工具設定和自動化資料管道
  • 雲端基礎設施:熟悉AWS、GCP 等雲端基礎設施供應商和Terraform 等基礎設施即程式碼工具(IaC)

學習MLOps

如果您有興趣了解有關MLOps 的更多信息,可以使用以下資源列表來幫助您入門:

  • DataTalks.Club 的MLOps Zoomcamp: DataTalks.Club 的MLOps zoomcamp 是一門免費課程,用於學習MLOps 的所有內容——從模型構建到部署和監控的最佳實踐。將透過建立一個專案來學習,將學到的所有知識組合在一起。
  • Coursera 上的 MLOps 專業化:DeepLearning.AI 的機器學習工程生產 (MLOps) 專業化。該專業(包含四門課程)將教導如何建構生產級機器學習系統。
  • MLOps GitHub 儲存庫:一個精選的儲存庫列表,用於在 MLOps 中升級。

總結

在本文中,介紹了 MLOps 工程師在組織中的首要職責以及關鍵的 MLOps 技能。

如前所述,並非所有執行 MLOps 的工程師都稱為MLOps 工程師。也討論了 MLOps 自動化程度和實際日常工作的依賴程度如何因組織而異。

與任何其他角色一樣,作為一名成功的 MLOps 工程師需要軟技能,例如有效的溝通、協作和策略性問題解決。也就是說,如果想嘗試成為 MLOps 工程師,祝 MLOps 快樂!

以上是MLOps角色是什麼的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:51cto.com。如有侵權,請聯絡admin@php.cn刪除