机器学习管道：设置本地kubernetes

这个多部分的教程通过使用开源工具构建本地机器学习管道为您提供指导。 它非常适合预算的初创公司，强调控制和成本可预测性。>

键优点：

• >成本效益：避免云服务费用。
>自定义：
• >对您的ML管道提供了更大的控制。>
可访问：
• 用牧场主Kubernetes Engine（RKE）简化了Kubernetes设置，仅需要基本的Docker和Linux技能。
实用方法： ML管道开发的动手指南，非常适合初学者。
• >为什么要在本地进行？
>许多人假设云存储（AWS S3，Google Cloud Storage），但是该系列展示了使用现有服务器构建功能管道，非常适合资源受限环境。 这种方法提供了一个安全的学习环境，而没有不可预测的成本。

>目标受众：

本指南适用于软件工程师或个人建立可准备生产的ML型号，尤其是ML管道的新模型。

>先决条件： 熟悉Linux（推荐Ubuntu 18.04）和基本Docker知识很有帮助。 不需要深入的Kubernetes专业知识。

使用的工具：

docker

kubernetes

>牧场主（带有RKE）

> kubeflow/kubeflow管道（用后面的部分覆盖）

>
• 米奥
• TensorFlow（以后的部分覆盖）
• 阶段1：带有牧场主的轻松kubernetes安装
本节重点关注Kubernetes安装的挑战性任务，并用RKE简化。
>
• >步骤0：机器准备：

>

>您将至少需要两台Linux机器（或启用了桥接网络和滥交模式的VM），在同一LAN上被指定为“ Master”和“ Worker”。 请注意，使用VMS限制GPU访问和性能。>

基本机器详细信息（IP地址，用户名，SSH键）才能进行配置。 本教程将使用临时主机名（例如

）。 在两台机器上相应地修改您的文件，以反映此主机名和IP地址。 如果使用VMS，请将主机名输入添加到主机计算机的文件以及浏览器访问中。

步骤1：获取RKE二进制：

> >从github发行页面下载适合您的操作系统的二进制文件，使其可执行，然后将其移至

>。通过运行

。rancher-demo.domain.test来验证安装 /etc/hosts>/etc/hosts>步骤2：准备Linux主机：

>

on所有>机器：

1. >>安装docker：>使用提供的命令安装Docker CE（版本19.03或更高版本）。验证安装并将您的用户添加到docker>组中。 注销并返回以使小组更改以生效。
2. ssh键：在主节点上设置ssh键，然后将公共密钥复制到所有工人节点。配置SSH服务器以允许端口转发（AllowTcpForwarding yesin/etc/ssh/sshd_config）。
>
3. 禁用交换：>使用sudo swapoff -a禁用交换，并在/etc/fstab>中注释交换条目。
>。
4. > 应用Sysctl设置：runsudo sysctl net.bridge.bridge-nf-call-iptables=1。
5. > dns配置（Ubuntu 18.04）：，editresolvconf>，添加名称服务器（例如，8.8.4.4和8.8.8.8）和restart/etc/resolvconf/resolv.conf.d/head。 resolvconf
>

>步骤3：群集配置文件：> 在主节点上，使用创建>文件。 提供必要的信息（IP地址，主机名，角色，SSH密钥路径等）。

>rke config步骤4：提出群集：cluster.yml

> 在主节点上

run 创建Kubernetes群集。 这个过程需要一些时间。 >

步骤5：复制kubeconfig：rke up> copy

to。

>

步骤6：安装kubectl：kube_config_cluster.yml> 使用提供的命令在主节点上> install$HOME/.kube/config。通过运行

。

来验证安装 >>步骤7：安装头盔3：

>

>使用提供的命令安装头盔3。 kubectl>kubectl get nodes步骤8：使用Helm安装牧场主：

>

>添加牧场主存储库，创建一个名称空间，然后使用Helm安装牧场主。 监视部署状态。

>

步骤9：设置入口（用于无负载平衡器的访问）：

> >创建一个>文件（将主机调整到您选择的主机名中），然后使用

。

>cattle-system>步骤10：访问牧场主：

>

>访问Rancher UI at（或您选择的主机名），创建一个密码，并设置域名。

ingress.yml kubectl apply -f ingress.yml>

步骤11：安装CERT-MANAGER：

> >安装cert-manager（版本v0.9.1）使用提供的命令。监视豆荚以确保它们运行。>

这将完成Kubernetes群集设置。该系列的下一部分将涵盖安装kubeflow。

常见问题（常见问题解答）：

> FAQS部分为有关本地Kubernetes设置的常见问题提供了全面的答案，涵盖了收益，与基于云的解决方案，挑战，安全考虑，迁移策略，硬件需求，缩放，Kubernetes操作员，机器学习工作量和机器学习工作和机器学习工作和机器学习工作和机器学习工作，并进行比较绩效监控。

以上是机器学习管道：设置本地kubernetes的详细内容。更多信息请关注PHP中文网其他相关文章！