Paip Pembelajaran Mesin: Menyediakan Kubernet di Premis

Tutorial berbilang bahagian ini membimbing anda melalui membina saluran paip pembelajaran mesin di premis menggunakan alat sumber terbuka. Ia sesuai untuk pemula pada anggaran, menekankan kawalan dan kebolehprediksi kos.

Kelebihan utama:

• kos efektif: mengelakkan perbelanjaan perkhidmatan awan.
• disesuaikan: menawarkan kawalan yang lebih besar ke atas saluran paip ML anda.
• boleh diakses: Memudahkan persediaan Kubernet dengan enjin rancher Kubernetes (RKE), yang memerlukan hanya Docker Basic dan kemahiran Linux.
• Pendekatan Praktikal: Panduan tangan untuk pembangunan saluran paip ML, sesuai untuk pemula.

Mengapa pergi ke premis?

Banyak yang menganggap penyimpanan awan (AWS S3, Google Cloud Storage), tetapi siri ini menunjukkan membina saluran paip berfungsi menggunakan pelayan sedia ada, sesuai untuk persekitaran yang terkawal sumber. Pendekatan ini menyediakan persekitaran pembelajaran yang selamat tanpa kos yang tidak dapat diramalkan.

penonton sasaran:

Panduan ini adalah untuk jurutera perisian atau individu yang membina model ML siap sedia pengeluaran, terutama yang baru untuk saluran paip ML.

Prasyarat:

kebiasaan dengan Linux (Ubuntu 18.04 disyorkan) dan pengetahuan Docker asas membantu. Kepakaran Kubernet Deep tidak diperlukan.

Alat yang digunakan:

Docker
Kubernetes
rancher (dengan RKE)
saluran paip Kubeflow/Kubeflow (dilindungi di bahagian kemudian)
minio
TensorFlow (dilindungi di bahagian kemudian)

Fasa 1: Pemasangan Kubernet Easy dengan Rancher

Bahagian ini memberi tumpuan kepada tugas mencabar pemasangan Kubernet, dipermudahkan dengan RKE.

Langkah 0: Penyediaan Mesin:

Anda memerlukan sekurang -kurangnya dua mesin Linux (atau VM dengan rangkaian jambatan dan mod promiscuous diaktifkan) pada LAN yang sama, yang ditetapkan sebagai 'Master' dan 'Pekerja'. Perhatikan bahawa menggunakan VMS mengehadkan akses dan prestasi GPU.

Butiran mesin penting (alamat IP, nama pengguna, kekunci SSH) diperlukan untuk konfigurasi. Nama hos sementara (mis.,

) akan digunakan untuk tutorial ini. Ubah suai fail

anda dengan sewajarnya pada kedua -dua mesin untuk mencerminkan nama hos dan alamat IP ini. Jika menggunakan VMS, tambahkan entri HostName ke fail rancher-demo.domain.test mesin tuan rumah anda juga untuk akses penyemak imbas. /etc/hosts /etc/hosts

Langkah 1: Mendapatkan binari RKE:

Muat turun binari RKE yang sesuai untuk OS anda dari halaman pelepasan GitHub, menjadikannya boleh dilaksanakan, dan gerakkannya ke

. Sahkan pemasangan dengan menjalankan

. /usr/local/bin rke

Langkah 2: Menyediakan tuan rumah Linux:

pada

semua

mesin:

1. Pasang Docker: Pasang Docker CE (versi 19.03 atau lebih baru) menggunakan arahan yang disediakan. Sahkan pemasangan dan tambahkan pengguna anda ke kumpulan docker. Log keluar dan kembali untuk perubahan kumpulan berkuat kuasa.
2. SSH Keys: Sediakan kekunci SSH pada nod induk dan salin kunci awam kepada semua nod pekerja. Konfigurasikan pelayan SSH untuk membenarkan pemajuan port (AllowTcpForwarding yes dalam /etc/ssh/sshd_config).
3. Lumpuhkan Swap: Lumpuhkan Swap Menggunakan sudo swapoff -a dan mengulas entri swap dalam /etc/fstab.
4. Gunakan tetapan sysctl: run sudo sysctl net.bridge.bridge-nf-call-iptables=1.
Konfigurasi DNS (Ubuntu 18.04):
5. Pasang , edit , tambah Nameservers (mis., 8.8.4.4 dan 8.8.8.8), dan mulakan semula resolvconf. /etc/resolvconf/resolv.conf.d/head resolvconf
Langkah 3: Fail Konfigurasi Kluster:

pada nod induk, gunakan untuk membuat fail

. Sediakan maklumat yang diperlukan (alamat IP, nama host, peranan, laluan utama SSH, dll.).

rke config cluster.yml Langkah 4: Membawa kluster:

Run pada nod induk untuk membuat kluster Kubernet. Proses ini mengambil sedikit masa.

rke up Langkah 5: Menyalin KubeConfig:

salin ke

.

kube_config_cluster.yml $HOME/.kube/config Langkah 6: Memasang Kubectl:

Pasang pada nod induk menggunakan arahan yang disediakan. Sahkan pemasangan dengan menjalankan

.

kubectl kubectl get nodes Langkah 7: Memasang Helm 3:

Pasang Helm 3 menggunakan arahan yang disediakan.

Langkah 8: Memasang rancher menggunakan Helm:

Tambah repositori rancher, buat ruang nama , dan pasang rancher menggunakan HELH. Pantau status penempatan.

cattle-system Langkah 9: Menyediakan Ingress (Untuk Akses Tanpa Pengimbang Beban):

3 Langkah 10: Mengakses peternak:

ingress.yml mengakses UI rancher di kubectl apply -f ingress.yml (atau nama hos yang anda pilih), buat kata laluan, dan tetapkan nama domain.

Langkah 11: Memasang Manager Cert-Manager:

https://rancher-demo.domain.test

Pasang CERT-Manager (versi v0.9.1) menggunakan arahan yang disediakan. Pantau pod untuk memastikan mereka berjalan.

Ini melengkapkan persediaan kluster Kubernet. Bahagian seterusnya siri ini akan meliputi memasang Kubeflow.

Soalan Lazim (Soalan Lazim):

Seksyen Soalan Lazim memberikan jawapan yang komprehensif kepada soalan-soalan umum mengenai persediaan Kubernet di premis, yang meliputi manfaat, perbandingan dengan penyelesaian berasaskan awan, cabaran, pertimbangan keselamatan, strategi migrasi, keperluan perkakasan, skala, pengendali kubernet, beban kerja mesin, dan beban kerja mesin, dan Pemantauan Prestasi.

Atas ialah kandungan terperinci Paip Pembelajaran Mesin: Menyediakan Kubernet di Premis. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!