Ein tiefer Einblick in das Cloud-Native AI Whitepaper von CNCF

Während der KubeCon EU 2024 veröffentlichte CNCF sein erstes Cloud-Native AI Whitepaper. Dieser Artikel bietet eine ausführliche Analyse des Inhalts dieses Whitepapers.

Im März 2024 veröffentlichte die Cloud-Native Computing Foundation (CNCF) während der KubeCon EU ihr erstes detailliertes Whitepaper zu Cloud-Native Artificial Intelligence (CNAI) ¹. Dieser Bericht untersucht ausführlich den aktuellen Stand, die Herausforderungen und zukünftige Entwicklungsrichtungen der Integration von Cloud-nativen Technologien mit künstlicher Intelligenz. In diesem Artikel wird auf den Kerninhalt dieses Whitepapers eingegangen.

Dieser Artikel wird zuerst im mittleren MPP-Plan veröffentlicht. Wenn Sie ein mittlerer Benutzer sind, folgen Sie mir bitte auf mittlerem Niveau. Vielen Dank.

Was ist Cloud-native KI?

Cloud-native KI bezieht sich auf die Erstellung und Bereitstellung von Anwendungen und Workloads für künstliche Intelligenz unter Verwendung cloudnativer Technologieprinzipien. Dazu gehört die Nutzung von Microservices, Containerisierung, deklarativen APIs und Continuous Integration/Continuous Deployment (CI/CD) neben anderen Cloud-nativen Technologien, um die Skalierbarkeit, Wiederverwendbarkeit und Bedienbarkeit von KI-Anwendungen zu verbessern.

Das folgende Diagramm veranschaulicht die Architektur von Cloud-Native AI, neu gezeichnet auf Basis des Whitepapers.

Beziehung zwischen Cloud-nativer KI und Cloud-nativen Technologien

Cloud-native Technologien bieten eine flexible, skalierbare Plattform, die die Entwicklung und den Betrieb von KI-Anwendungen effizienter macht. Durch Containerisierung und Microservices-Architektur können Entwickler KI-Modelle schnell iterieren und bereitstellen und gleichzeitig eine hohe Verfügbarkeit und Skalierbarkeit des Systems gewährleisten. Kuuch wie Ressourcenplanung, automatische Skalierung und Serviceerkennung.

Das Whitepaper liefert zwei Beispiele, um die Beziehung zwischen Cloud-nativer KI und cloudnativen Technologien zu veranschaulichen, nämlich die Ausführung von KI auf einer cloudnativen Infrastruktur:

• Hugging Face arbeitet mit Microsoft zusammen, um den Hugging Face-Modellkatalog auf Azure zu starten²
• OpenAI skaliert Kubernetes auf 7.500 Knoten³

Herausforderungen der Cloud-Native AI

Obwohl eine solide Grundlage für KI-Anwendungen geschaffen wird, gibt es immer noch Herausforderungen bei der Integration von KI-Workloads in cloudnative Plattformen. Zu diesen Herausforderungen gehören die Komplexität der Datenvorbereitung, der Ressourcenbedarf für das Modelltraining sowie die Aufrechterhaltung der Modellsicherheit und -isolation in Umgebungen mit mehreren Mandanten. Darüber hinaus sind Ressourcenmanagement und -planung in Cloud-nativen Umgebungen für groß angelegte KI-Anwendungen von entscheidender Bedeutung und müssen weiter optimiert werden, um effizientes Modelltraining und Inferenz zu unterstützen.

Entwicklungspfad der Cloud-Native AI

Das Whitepaper schlägt mehrere Entwicklungspfade für Cloud-Native AI vor, darunter die Verbesserung von Ressourcenplanungsalgorithmen zur besseren Unterstützung von KI-Workloads, die Entwicklung neuer Service-Mesh-Technologien zur Verbesserung der Leistung und Sicherheit von KI-Anwendungen sowie die Förderung von Innovation und Standardisierung von Cloud-Native KI-Technologie durch Open-Source-Projekte und Community-Zusammenarbeit.

Cloud-native KI-Technologielandschaft

Cloud-Native AI umfasst verschiedene Technologien, die von Containern und Microservices bis hin zu Service Mesh und Serverless Computing reichen. Kubernetes spielt eine zentrale Rolle bei der Bereitstellung und Verwaltung von KI-Anwendungen, während Service-Mesh-Technologien wie Istio und Envoy robuste Verkehrsmanagement- und Sicherheitsfunktionen bieten. Darüber hinaus sind Überwachungstools wie Prometheus und Grafana von entscheidender Bedeutung für die Aufrechterhaltung der Leistung und Zuverlässigkeit von KI-Anwendungen.

Unten finden Sie das im Whitepaper bereitgestellte Cloud-Native-KI-Landschaftsdiagramm.

• Kubernetes
• Vulkan
• Armada
• Kuberay
• Nvidia NeMo
• Yunikorn
• Kueue
• Flamme

Verteiltes Training

• Kubeflow-Schulungsbetreiber
• Pytorch DDP
• TensorFlow Distributed
• Öffnen Sie MPI
• DeepSpeed
• Megatron
• Horowod
• Apla
• …

ML-Servieren

• Kserve
• Seldon
• VLLM
• TGT
• Skypilot
• …

CI/CD – Lieferung

• Kubeflow-Pipelines
• Mlflow
• TFX
• BentoML
• MLRun
• …

Datenwissenschaft

• Jupyter
• Kubeflow-Notizbücher
• PyTorch
• TensorFlow
• Apache Zeppelin

Beobachtbarkeit der Arbeitslast

• Prometheus
• Influxdb
• Grafana
• Gewichte und Verzerrungen (wandb)
• OpenTelemetry
• …

AutoML

• Hyperopt
• Optuna
• Kubeflow Katib
• NNI
• …

Governance und Politik

• Kyverno
• Kyverno-JSON
• OPA/Gatekeeper
• StackRox Minder
• …

Datenarchitektur

• ClickHouse
• Apache Pinot
• Apache-Druide
• Cassandra
• ScyllaDB
• Hadoop HDFS
• Apache HBase
• Presto
• Trino
• Apache Spark
• Apache Flink
• Kafka
• Pulsar
• Flüssigkeit
• Memcached
• Redis
• Alluxio
• Apache Superset
• …

Vektordatenbanken

• Chroma
• Weaviate
• Quadrant
• Tannenzapfen
• Erweiterungen
• Redis
• Postgres SQL
• ElasticSearch
• …

Modell/LLM-Beobachtbarkeit

• • Trulens
• Langfuse
• Deepchecks
• OpenLLMetry
• …

Abschluss

Abschließend werden die folgenden Kernpunkte zusammengefasst:

• Rolle der Open-Source-Community: Das Whitepaper zeigt die Rolle der Open-Source-Community bei der Weiterentwicklung der Cloud-nativen KI, einschließlich der Beschleunigung von Innovationen und der Kostensenkung durch Open-Source-Projekte und umfassende Zusammenarbeit.
• Bedeutung Cloud-nativer Technologien: Cloud-native KI, die nach Cloud-nativen Prinzipien aufgebaut ist, betont die Bedeutung von Wiederholbarkeit und Skalierbarkeit. Cloud-native Technologien bieten eine effiziente Entwicklungs- und Betriebsumgebung für KI-Anwendungen, insbesondere in Bezug auf Ressourcenplanung und Service-Skalierbarkeit.
• Bestehende Herausforderungen: Obwohl Cloud-Native AI viele Vorteile mit sich bringt, steht es immer noch vor Herausforderungen bei der Datenvorbereitung, den Ressourcenanforderungen für das Modelltraining sowie der Modellsicherheit und -isolation.
• Zukünftige Entwicklungsrichtungen: Das Whitepaper schlägt Entwicklungspfade vor, darunter die Optimierung von Ressourcenplanungsalgorithmen zur Unterstützung von KI-Workloads, die Entwicklung neuer Service-Mesh-Technologien zur Verbesserung von Leistung und Sicherheit sowie die Förderung von Technologieinnovation und Standardisierung durch Open-Source-Projekte und Community-Zusammenarbeit .
• Technologische Schlüsselkomponenten: Zu den Schlüsseltechnologien der Cloud-Native AI gehören unter anderem Container, Microservices, Service Mesh und serverloses Computing. Kubernetes spielt eine zentrale Rolle bei der Bereitstellung und Verwaltung von KI-Anwendungen, während Service-Mesh-Technologien wie Istio und Envoy für die notwendige Verkehrsverwaltung und Sicherheit sorgen.

Für weitere Informationen laden Sie bitte das Whitepaper „Cloud-Native AI“ herunter ⁴.

Referenzlinks

---

1. Whitepaper: ↩︎

2. Hugging Face arbeitet mit Microsoft zusammen, um den Hugging Face-Modellkatalog auf Azure zu starten ↩︎

3. OpenAI skaliert Kubernetes auf 7.500 Knoten: ↩︎

4. Cloud-Native AI Whitepaper: ↩︎

Das obige ist der detaillierte Inhalt vonEin tiefer Einblick in das Cloud-Native AI Whitepaper von CNCF. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!