Menyelam Mendalam ke Kertas Putih AI Asli Awan CNCF

Semasa KubeCon EU 2024, CNCF melancarkan Kertas Putih AI Asli Awannya yang pertama. Artikel ini menyediakan analisis mendalam tentang kandungan kertas putih ini.

Pada Mac 2024, semasa KubeCon EU, Cloud-Native Computing Foundation (CNCF) mengeluarkan kertas putih terperinci pertamanya tentang Cloud-Native Artificial Intelligence (CNAI) ¹. Laporan ini meneroka secara meluas keadaan semasa, cabaran dan hala tuju pembangunan masa hadapan untuk menyepadukan teknologi asli awan dengan kecerdasan buatan. Artikel ini akan menyelidiki kandungan teras kertas putih ini.

Artikel ini pertama kali diterbitkan dalam pelan MPP sederhana. Jika anda pengguna sederhana, sila ikuti saya dalam medium. Terima kasih banyak-banyak.

Apakah AI Cloud-Native?

Cloud-Native AI merujuk kepada membina dan menggunakan aplikasi kecerdasan buatan dan beban kerja menggunakan prinsip teknologi asli awan. Ini termasuk memanfaatkan perkhidmatan mikro, kontena, API pengisytiharan dan penyepaduan berterusan/penyerahan berterusan (CI/CD) antara teknologi asli awan lain untuk meningkatkan kebolehskalaan, kebolehgunaan semula dan kebolehkendalian aplikasi AI.

Rajah berikut menggambarkan seni bina Cloud-Native AI, dilukis semula berdasarkan kertas putih.

Hubungan antara Cloud-Native AI dan Cloud-Native Technologies

Teknologi cloud-asli menyediakan platform yang fleksibel dan berskala yang menjadikan pembangunan dan pengendalian aplikasi AI lebih cekap. Melalui kontena dan seni bina perkhidmatan mikro, pembangun boleh mengulang dan menggunakan model AI dengan cepat sambil memastikan ketersediaan tinggi dan kebolehskalaan sistem. Kuuch sebagai penjadualan sumber, penskalaan automatik dan penemuan perkhidmatan.

Kertas putih menyediakan dua contoh untuk menggambarkan hubungan antara Cloud-Native AI dan teknologi cloud-native, iaitu menjalankan AI pada infrastruktur cloud-native:

• Hugging Face Bekerjasama dengan Microsoft untuk melancarkan Katalog Model Hugging Face pada Azure²
• OpenAI Menskala Kubernetes kepada 7,500 nod³

Cabaran AI Cloud-Native

Walaupun menyediakan asas yang kukuh untuk aplikasi AI, masih terdapat cabaran apabila menyepadukan beban kerja AI dengan platform asli awan. Cabaran ini termasuk kerumitan penyediaan data, keperluan sumber latihan model, dan mengekalkan keselamatan model dan pengasingan dalam persekitaran berbilang penyewa. Selain itu, pengurusan sumber dan penjadualan dalam persekitaran asli awan adalah penting untuk aplikasi AI berskala besar dan memerlukan pengoptimuman lanjut untuk menyokong latihan dan inferens model yang cekap.

Laluan Pembangunan AI Cloud-Native

Kertas putih mencadangkan beberapa laluan pembangunan untuk Cloud-Native AI, termasuk menambah baik algoritma penjadualan sumber untuk menyokong beban kerja AI dengan lebih baik, membangunkan teknologi mesh perkhidmatan baharu untuk meningkatkan prestasi dan keselamatan aplikasi AI, dan mempromosikan inovasi dan penyeragaman Cloud-Native Teknologi AI melalui projek sumber terbuka dan kerjasama komuniti.

Landskap Teknologi AI Asli Awan

Cloud-Native AI melibatkan pelbagai teknologi, daripada bekas dan perkhidmatan mikro kepada mesh perkhidmatan dan pengkomputeran tanpa pelayan. Kubernetes memainkan peranan penting dalam mengatur dan mengurus aplikasi AI, manakala teknologi jaringan perkhidmatan seperti Istio dan Envoy menyediakan pengurusan trafik dan ciri keselamatan yang mantap. Selain itu, alat pemantauan seperti Prometheus dan Grafana adalah penting untuk mengekalkan prestasi dan kebolehpercayaan aplikasi AI.

Di bawah ialah gambar rajah landskap AI Cloud-Native yang disediakan dalam kertas putih.

• Kubernetes
• Gunung berapi
• Arada
• Kuberay
• Nvidia NeMo
• Yunikorn
• Kuue
• Nyala

Latihan Teragih

• Operator Latihan Kubeflow
• DDP Pytorch
• TensorFlow Diedarkan
• Buka MPI
• Kelajuan Dalam
• Megatron
• Horovod
• Apla
• …

ML Serving

• Khidmat
• Seldon
• VLLM
• TGT
• Skypilot
• …

CI/CD — Penghantaran

• Saluran Paip Kubeflow
• Mlflow
• TFX
• BentoML
• MLRun
• …

Sains Data

• Jupyter
• Buku Nota Kubeflow
• PyTorch
• TensorFlow
• Apache Zeppelin

Kebolehlihatan Beban Kerja

• Prometheus
• Influxdb
• Grafana
• Berat dan Bias (wandb)
• Telemetri Terbuka
• …

AutoML

• Hiperoptik
• Optuna
• Kubeflow Katib
• NNI
• …

Tadbir urus & Dasar

• Kyverno
• Kyverno-JSON
• OPA/Penjaga Pintu
• StackRox Minder
• …

Seni Bina Data

• ClickHouse
• Apache Pinot
• Apache Druid
• Cassandra
• ScyllaDB
• HDFS Hadoop
• Apache HBase
• Presto
• Trino
• Apache Spark
• Apache Flink
• Kafka
• Pulsar
• cecair
• Memcached
• Redis
• Alluxio
• Superset Apache
• …

Pangkalan Data Vektor

• Kroma
• Anyaman
• Kuadran
• Pinecone
• Sambungan
• Redis
• SQL Postgres
• ElasticSearch
• …

Kebolehcerapan Model/LLM

• • Trulens
• Langfuse
• Semak mendalam
• OpenLLMetry
• …

Kesimpulan

Akhir sekali, perkara penting berikut diringkaskan:

• Peranan Komuniti Sumber Terbuka : Kertas putih menunjukkan peranan komuniti sumber terbuka dalam memajukan AI Cloud-Native, termasuk mempercepatkan inovasi dan mengurangkan kos melalui projek sumber terbuka dan kerjasama yang meluas.
• Kepentingan Teknologi Cloud-Native : Cloud-Native AI, dibina mengikut prinsip cloud-native, menekankan kepentingan kebolehulangan dan kebolehskalaan. Teknologi asli awan menyediakan persekitaran pembangunan dan operasi yang cekap untuk aplikasi AI, terutamanya dalam penjadualan sumber dan kebolehskalaan perkhidmatan.
• Cabaran Sedia Ada : Walaupun membawa banyak kelebihan, Cloud-Native AI masih menghadapi cabaran dalam penyediaan data, keperluan sumber latihan model dan keselamatan dan pengasingan model.
• Arah Pembangunan Masa Hadapan : Kertas putih mencadangkan laluan pembangunan termasuk mengoptimumkan algoritma penjadualan sumber untuk menyokong beban kerja AI, membangunkan teknologi jaringan perkhidmatan baharu untuk meningkatkan prestasi dan keselamatan, serta mempromosikan inovasi dan penyeragaman teknologi melalui projek sumber terbuka dan kerjasama komuniti .
• Komponen Teknologi Utama : Teknologi utama yang terlibat dalam Cloud-Native AI termasuk bekas, perkhidmatan mikro, jaringan perkhidmatan dan pengkomputeran tanpa pelayan, antara lain. Kubernetes memainkan peranan penting dalam mengatur dan mengurus aplikasi AI, manakala teknologi mesh perkhidmatan seperti Istio dan Envoy menyediakan pengurusan trafik dan keselamatan yang diperlukan.

Untuk butiran lanjut, sila muat turun kertas putih Cloud-Native AI ⁴.

Pautan Rujukan

---

1. Kertas Putih: ↩︎

2. Hugging Face Bekerjasama dengan Microsoft untuk melancarkan Katalog Model Hugging Face pada Azure ↩︎

3. OpenAI Menskalakan Kubernetes kepada 7,500 nod: ↩︎

4. Kertas Putih AI Asli Cloud: ↩︎

Atas ialah kandungan terperinci Menyelam Mendalam ke Kertas Putih AI Asli Awan CNCF. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!