機器學習管道：設置本地kubernetes

這個多部分的教程通過使用開源工具構建本地機器學習管道為您提供指導。 它非常適合預算的初創公司，強調控制和成本可預測性。 >

鍵優點：

• >成本效益：避免雲服務費用。
>自定義：
• >對您的ML管道提供了更大的控制。 >
可訪問：
• 用牧場主Kubernetes Engine（RKE）簡化了Kubernetes設置，僅需要基本的Docker和Linux技能。
實用方法： ML管道開發的動手指南，非常適合初學者。
• >為什麼要在本地進行？
>許多人假設雲存儲（AWS S3，Google Cloud Storage），但是該系列展示了使用現有服務器構建功能管道，非常適合資源受限環境。 這種方法提供了一個安全的學習環境，而沒有不可預測的成本。

>目標受眾：

本指南適用於軟件工程師或個人建立可準備生產的ML型號，尤其是ML管道的新模型。

>先決條件： 熟悉Linux（推薦Ubuntu 18.04）和基本Docker知識很有幫助。 不需要深入的Kubernetes專業知識。

使用的工具：

docker

kubernetes

>牧場主（帶有RKE）

> kubeflow/kubeflow管道（用後面的部分覆蓋）

>
• 米奧
• TensorFlow（以後的部分覆蓋）
• 階段1：帶有牧場主的輕鬆kubernetes安裝
本節重點關注Kubernetes安裝的挑戰性任務，並用RKE簡化。
>
• >步驟0：機器準備：

>

>您將至少需要兩台Linux機器（或啟用了橋接網絡和濫交模式的VM），在同一LAN上被指定為“ Master”和“ Worker”。 請注意，使用VMS限制GPU訪問和性能。 >

基本機器詳細信息（IP地址，用戶名，SSH鍵）才能進行配置。 本教程將使用臨時主機名（例如

）。 在兩台機器上相應地修改您的文件，以反映此主機名和IP地址。 如果使用VMS，請將主機名輸入添加到主機計算機的文件以及瀏覽器訪問中。

步驟1：獲取RKE二進制：

> >從github發行頁面下載適合您的操作系統的二進製文件，使其可執行，然後將其移至

>。通過運行

。 rancher-demo.domain.test來驗證安裝 /etc/hosts>/etc/hosts>步驟2：準備Linux主機：

>

on所有>機器：

1. >>安裝docker：>使用提供的命令安裝Docker CE（版本19.03或更高版本）。驗證安裝並將您的用戶添加到docker>組中。 註銷並返回以使小組更改以生效。
2. ssh鍵：在主節點上設置ssh鍵，然後將公共密鑰複製到所有工人節點。配置SSH服務器以允許端口轉發（AllowTcpForwarding yesin/etc/ssh/sshd_config）。
>
3. 禁用交換：>使用sudo swapoff -a禁用交換，並在/etc/fstab>中註釋交換條目。
>。
4. > 應用Sysctl設置：runsudo sysctl net.bridge.bridge-nf-call-iptables=1。
5. > dns配置（Ubuntu 18.04）：，editresolvconf>，添加名稱服務器（例如，8.8.4.4和8.8.8.8）和restart/etc/resolvconf/resolv.conf.d/head。 resolvconf
>

>步驟3：群集配置文件：> 在主節點上，使用創建>文件。 提供必要的信息（IP地址，主機名，角色，SSH密鑰路徑等）。

>rke config步驟4：提出群集：cluster.yml

> 在主節點上

run 創建Kubernetes群集。 這個過程需要一些時間。 >

步驟5：複製kubeconfig：rke up> copy

to。

>

步驟6：安裝kubectl：kube_config_cluster.yml> 使用提供的命令在主節點上> install$HOME/.kube/config。通過運行

。

來驗證安裝 >>步驟7：安裝頭盔3：

>

>使用提供的命令安裝頭盔3。 kubectl>kubectl get nodes步驟8：使用Helm安裝牧場主：

>

>添加牧場主存儲庫，創建一個名稱空間，然後使用Helm安裝牧場主。 監視部署狀態。

>

步驟9：設置入口（用於無負載平衡器的訪問）：

> >創建一個>文件（將主機調整到您選擇的主機名中），然後使用

。

>cattle-system>步驟10：訪問牧場主：

>

>訪問Rancher UI at（或您選擇的主機名），創建一個密碼，並設置域名。

ingress.yml kubectl apply -f ingress.yml>

步驟11：安裝CERT-MANAGER：

> >安裝cert-manager（版本v0.9.1）使用提供的命令。監視豆莢以確保它們運行。 >

這將完成Kubernetes群集設置。該系列的下一部分將涵蓋安裝kubeflow。

常見問題（常見問題解答）：

> FAQS部分為有關本地Kubernetes設置的常見問題提供了全面的答案，涵蓋了收益，與基於雲的解決方案，挑戰，安全考慮，遷移策略，硬件需求，縮放，Kubernetes操作員，機器學習工作量和機器學習工作和機器學習工作和機器學習工作和機器學習工作，並進行比較績效監控。

以上是機器學習管道：設置本地kubernetes的詳細內容。更多資訊請關注PHP中文網其他相關文章！