NVIDIA führt NIM-Microservices für generative KI in Japan und Taiwan ein

Alvin Lang 27. August 2024 02:52 NVIDIA führt NIM-Mikrodienste ein, um generative KI in Japan und Taiwan zu unterstützen und regionale Sprachmodelle und lokale KI-Anwendungen zu verbessern.

NVIDIA hat seine NIM-Microservices für generative KI-Anwendungen in Japan und Taiwan eingeführt, mit dem Ziel, regionale Sprachmodelle zu stärken und die Entwicklung von generativen KI-Anwendungen zu unterstützen.

Die neuen Microservices wurden am Samstag in einem NVIDIA-Blogbeitrag angekündigt und sollen Entwicklern dabei helfen, generative KI-Anwendungen zu erstellen und bereitzustellen, die auf lokale Sprachen und kulturelle Nuancen reagieren. Die Microservices unterstützen beliebte Community-Modelle und verbessern die Benutzerinteraktionen durch verbessertes Verständnis und Antworten basierend auf regionalen Sprachen und kulturellem Erbe.

Laut ABI Research wird der Umsatz mit generativer KI-Software im asiatisch-pazifischen Raum bis 2030 voraussichtlich 48 Milliarden US-Dollar erreichen, gegenüber 5 Milliarden US-Dollar im Jahr 2024. Es wird erwartet, dass die neuen Microservices von NVIDIA eine wichtige Rolle bei diesem Wachstum spielen, indem sie fortschrittliche Tools für bereitstellen KI-Entwicklung.

Zu den neuen Angeboten gehören die Modelle Llama-3-Swallow-70B und Llama-3-Taiwan-70B, die auf japanischen bzw. Mandarin-Daten trainiert wurden. Diese Modelle sollen ein tieferes Verständnis der örtlichen Gesetze, Vorschriften und Gepflogenheiten vermitteln.

Die auf Mistral-7B basierende RakutenAI 7B-Modellfamilie wurde anhand englischer und japanischer Datensätze trainiert und ist als NIM-Microservices für Chat- und Instruct-Funktionen verfügbar. Diese Modelle erzielten im LM Evaluation Harness-Benchmark von Januar bis März 2024 die besten Durchschnittswerte unter den offenen japanischen Modellen für große Sprachen.

Mehrere Organisationen in Japan und Taiwan nutzen bereits die NIM-Microservices von NVIDIA, um generative KI-Anwendungen zu entwickeln und bereitzustellen.

Zum Beispiel hat das Tokyo Institute of Technology das Modell Llama-3-Swallow 70B anhand japanischsprachiger Daten verfeinert. Preferred Networks, ein japanisches KI-Unternehmen, nutzt das Modell, um eine gesundheitsspezifische KI zu entwickeln, die auf japanischen medizinischen Daten trainiert wird und bei der japanischen nationalen Prüfung für Ärzte Bestnoten erzielt.

In Taiwan baut das Chang Gung Memorial Hospital einen benutzerdefinierten KI-Inferenzdienst auf, um LLM-Anwendungen innerhalb des Krankenhaussystems zentral zu hosten. Dabei wird das Llama-3-Taiwan 70B-Modell verwendet, um die medizinische Kommunikation zu verbessern. Pegatron, ein in Taiwan ansässiger Elektronikhersteller, übernimmt das Modell sowohl für interne als auch externe Anwendungen und integriert es in sein PEGAAi Agentic AI System, um die Effizienz in Fertigung und Betrieb zu steigern.

Entwickler können diese souveränen KI-Modelle, verpackt als NIM-Microservices, jetzt in großem Maßstab in der Produktion einsetzen und gleichzeitig eine verbesserte Leistung erzielen. Die mit NVIDIA AI Enterprise verfügbaren Microservices sind für die Inferenz mit der Open-Source-Bibliothek NVIDIA TensorRT-LLM optimiert, bieten einen bis zu fünfmal höheren Durchsatz und senken die Gesamtkosten für die Ausführung der Modelle in der Produktion.

Die neuen NIM-Microservices sind ab sofort als gehostete Anwendungsprogrammierschnittstellen (APIs) verfügbar.

Um mehr darüber zu erfahren, wie NVIDIA NIM generative KI-Ergebnisse beschleunigen kann, besuchen Sie die Produktseite hier.

Generative KI-Modelle wie LLMs erfreuen sich aufgrund ihrer Fähigkeit, verschiedene Aufgaben auszuführen, darunter die Generierung von Text, Code, Bildern und Videos, zunehmender Beliebtheit. Allerdings kann die Bereitstellung dieser Modelle eine Herausforderung darstellen, insbesondere für Unternehmen, die schnelle und genaue Ergebnisse benötigen.

Um diesem Bedarf gerecht zu werden, bietet NVIDIA eine Reihe von Lösungen an, darunter die NVIDIA AI Enterprise-Softwareplattform und die NVIDIA AI Registry, die Sicherheit, Leistungsoptimierung und zentralisierte Verwaltung für generative KI-Modelle bieten.

Mit diesen Lösungen können Unternehmen Modelle schnell und effizient bereitstellen und so optimale Leistung und Zuverlässigkeit für ihre Anwendungen gewährleisten.

Das obige ist der detaillierte Inhalt vonNVIDIA führt NIM-Microservices für generative KI in Japan und Taiwan ein. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!