Pipelines für maschinelles Lernen: Einrichten von Kubernetes vor Ort einrichten

Dieser mehrteilige Tutorial führt Sie durch den Erstellen einer lokalen Pipeline für maschinelles Lernen mit Open-Source-Tools. Es ist perfekt für Startups mit einem Budget und betont die Kontrolle und die Kostenvorhersage.

Schlüsselvorteile:

• Kosteneffektiv: Vermeidet Cloud-Service-Kosten.
• Anpassbar: bietet eine größere Kontrolle über Ihre ML -Pipeline.
• zugänglich: vereinfacht Kubernetes -Setup mit Rancher Kubernetes Engine (RKE) und erfordert nur grundlegende Docker- und Linux -Fähigkeiten.
• Praktischer Ansatz: Eine praktische Anleitung für die Entwicklung von ML-Pipeline, ideal für Anfänger.

Warum On-Premise gehen?

Viele nehmen Cloud-Speicher (AWS S3, Google Cloud Storage) an. Diese Serie zeigt jedoch, dass eine funktionale Pipeline mithilfe vorhandener Server ideal für ressourcenbezogene Umgebungen erstellt wird. Dieser Ansatz bietet eine sichere Lernumgebung ohne unvorhersehbare Kosten.

Zielgruppe:

Ein

Voraussetzungen:

Vertrautheit mit Linux (Ubuntu 18.04 Empfohlen) und grundlegendes Docker -Wissen sind hilfreich. Deep Kubernetes -Expertise ist nicht erforderlich.

verwendete Werkzeuge:

Docker

• Kubernetes
• Rancher (mit RKE)
• kubeflow/kubeflow pipelines (in späteren Teilen bedeckten)
• Minio
• Tensorflow (in späteren Teilen bedeckten)

Phase 1: Einfache Kubernetes -Installation mit Rancher

Dieser Abschnitt konzentriert sich auf die herausfordernde Aufgabe der Kubernetes -Installation, die mit RKE vereinfacht ist.

Schritt 0: Maschinenvorbereitung:

Sie benötigen mindestens zwei Linux -Maschinen (oder VMs mit verkleinertem Netzwerk- und Promiscuous -Modus) im selben LAN, der als "Master" und "Arbeiter" bezeichnet wird. Beachten Sie, dass die Verwendung von VMS GPU -Zugriff und -leistung begrenzt.

Details für essentielle Maschine (IP -Adressen, Benutzernamen, SSH -Tasten) werden für die Konfiguration benötigt. Für dieses Tutorial wird ein temporärer Hostname (z. B.

) verwendet. Ändern Sie Ihre

Datei entsprechend auf beiden Maschinen, um diesen Hostnamen und die IP -Adressen widerzuspiegeln. Wenn Sie VMS verwenden, fügen Sie den Hostnameneintrag auch zur rancher-demo.domain.test -Datei Ihres Host -Computers hinzu. /etc/hosts /etc/hosts

Schritt 1: Erhalten Sie die rke -Binärin:

Laden Sie den entsprechenden RKE -Binary für Ihr Betriebssystem von der GitHub -Release -Seite herunter, machen Sie es ausführbar und verschieben Sie es in

. Überprüfen Sie die Installation, indem Sie

. /usr/local/bin ausführen rke

Schritt 2: Vorbereitung von Linux -Hosts:

on

alle

Maschinen:

1. Installieren Sie Docker: Docker CE (Version 19.03 oder höher) mit den angegebenen Befehlen installieren. Überprüfen Sie die Installation und fügen Sie Ihren Benutzer zur docker -Gruppe hinzu. Melden Sie sich aus und kehren Sie für die Gruppenänderungen zurück, um wirksam zu werden.
2. SSH -Tasten: SSH -Tasten auf dem Masterknoten einrichten und die öffentliche Taste auf alle Arbeiterknoten kopieren. Konfigurieren Sie SSH -Server, um die Portweiterleitung zu ermöglichen (AllowTcpForwarding yes in /etc/ssh/sshd_config).
3. Swap deaktivieren: Swap mit sudo swapoff -a deaktivieren und die Swap -Einträge in /etc/fstab
kommentieren.
4. SYSCTL -Einstellungen anwenden: sudo sysctl net.bridge.bridge-nf-call-iptables=1 Ausführen
.
5. DNS -Konfiguration (Ubuntu 18.04): resolvconf Installation /etc/resolvconf/resolv.conf.d/head, bearbeiten resolvconf, namervers (z. B. 8.8.4.4 und 8.8.8.8) und starten Sie
.

neu starten

Schritt 3: Cluster -Konfigurationsdatei:

rke config Auf dem Master -Knoten verwenden Sie cluster.yml, um eine

Datei zu erstellen. Geben Sie die erforderlichen Informationen an (IP -Adressen, Hostnamen, Rollen, SSH -Schlüsselpfade usw.).

Schritt 4: Auferziehende des Clusters:

rke up Ausführen

auf dem Masterknoten, um den Kubernetes -Cluster zu erstellen. Dieser Vorgang dauert einige Zeit.

Schritt 5: Kopieren von Kubeconfig:

kube_config_cluster.yml kopieren $HOME/.kube/config zu

.

Schritt 6: Installieren von Kubectl:

kubectl Installieren Sie kubectl get nodes auf dem Masterknoten mit den angegebenen Befehlen. Überprüfen Sie die Installation, indem Sie

.

ausführen Schritt 7: Installieren von Helm 3:

Helm 3 mit dem angegebenen Befehl installieren.

Schritt 8: Installieren von Rancher mit Helm:

cattle-system Fügen Sie das Rancher -Repository hinzu, erstellen Sie einen

Namespace und installieren Sie Rancher mit Helm. Überwachen Sie den Bereitstellungsstatus.

Schritt 9: Einrichten des Eindringens (für Zugriff ohne Lastausgleich):

ingress.yml Erstellen Sie eine kubectl apply -f ingress.yml -Datei (Anpassung des Hosts an Ihren ausgewählten Hostnamen) und verwenden Sie sie mit

.

Schritt 10: Zugriff auf Rancher:

https://rancher-demo.domain.test Zugriff auf die Rancher -Benutzeroberfläche unter

(oder Ihren ausgewählten Hostnamen), ein Kennwort erstellen und den Domänennamen festlegen.

Schritt 11: Installieren von Cert-Manager:

Installieren Sie Cert-Manager (Version v0.9.1) mit den angegebenen Befehlen. Überwachen Sie die Schoten, um sicherzustellen, dass sie ausgeführt werden.

Dies vervollständigt das Kubernetes -Cluster -Setup. Der nächste Teil der Serie umfasst die Installation von Kubeflow.

häufig gestellte Fragen (FAQs):

Der FAQS-Abschnitt enthält umfassende Antworten auf gemeinsame Fragen zum Einrichten von Kubernetes vor Ort, die Abdeckung von Vorteilen, Vergleiche mit Cloud-basierten Lösungen, Herausforderungen, Sicherheitsüberlegungen, Migrationsstrategien, Hardwareanforderungen, Skalierung, Kubernetes-Betreiber, Arbeitsbelastungen für maschinelles Lernen und Arbeitslosen und Arbeitsbelastungen für maschinelles Lernen und Arbeitsbelastung Leistungsüberwachung.

Das obige ist der detaillierte Inhalt vonPipelines für maschinelles Lernen: Einrichten von Kubernetes vor Ort einrichten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!