Die KI-Entwicklungs- und Computerplattform Yanxi wird offiziell eingeführt, um Großmodelle in greifbare Nähe zu bringen

In einem Jahr, in dem große Modelle immer beliebter werden, ist der größte Entwicklungsengpass in der generativen KI-Branche auf der Seite der Rechenleistung aufgetreten. Am 20. September erwähnte Sequoia America in dem Artikel „The Second Act of Generative AI“, dass viele generative KI-Unternehmen im vergangenen Jahr schnell entdeckten, dass ihr Entwicklungsengpass nicht in der Kundennachfrage, sondern in der GPU-Spannung lag. Lange GPU-Wartezeiten wurden so sehr zur Norm, dass ein einfaches Geschäftsmodell entstand: Zahlen Sie eine Abonnementgebühr, um die Warteschlange zu umgehen und bessere Modelle zu erhalten.

Beim Training großer Modelle hat der exponentielle Anstieg der Parametergröße zu einem starken Anstieg der Trainingskosten geführt. Bei knappen GPU-Ressourcen ist es immer wichtiger geworden, die Leistung der Hardware zu maximieren und die Trainingseffizienz zu verbessern.

Die KI-Entwicklungscomputerplattform ist eine wichtige Lösung. Mit der KI-Entwicklungs-Computing-Plattform kann ein großer Modellentwickler den gesamten KI-Entwicklungsprozess einschließlich Datenvorbereitung, Modellentwicklung, Modellschulung und Modellbereitstellung aus einer Hand abschließen. Die KI-Rechenplattform senkt nicht nur die Schwelle für die Entwicklung großer Modelle, sondern macht auch die Rechenressourcen effizienter, indem sie Trainingsoptimierungs- und Inferenzverwaltungsdienste bereitstellt.

Laut JD Clouds Vorstellung der Yanxi AI-Entwicklungs- und Computerplattform am 26. September auf der Xi'an City Conference kann die Einführung der Yanxi AI-Entwicklungs- und Computerplattform unter Verwendung der von JD Cloud eingeführten Yanxi AI-Entwicklungs- und Computerplattform in weniger als abgeschlossen werden Der gesamte Prozess der Datenaufbereitung, des Modelltrainings und der Modellbereitstellung erforderte jetzt nur noch 1-2 Algorithmen-Mitarbeiter, sodass das Team 90 % einsparen konnte. der Inferenzkosten.

Noch wichtiger ist, dass die Yanxi AI Development Computing-Plattform in einer Zeit, in der große Modelle schnell in Tausende von Branchen vordringen, Entwicklern großer Modellalgorithmen und Anwendungsentwicklern gleichzeitig die Möglichkeit gibt, sie zu implementieren Produktentwicklung großer Modelle im Low-Code-Format. Die Schwelle für die Entwicklung großer Industriemodelle ist niedriger geworden und es wird einfacher sein, große Modelle zu nutzen und umzuwandeln.

Das Zeitalter großer Modelle erfordert eine neue digitale Infrastruktur

Wenn für einen großen Modellentwickler keine KI-Entwicklungs-Rechenplattform vorhanden ist, bedeutet dies: Während des Entwicklungsprozesses von Algorithmen und Anwendungen müssen Sie die zugrunde liegende Struktur erstellen Schichten Sie sich selbst Für eine Reihe von Systemen wie GPU-Computing-Ressourcenplanung, Speichernetzwerk sowie Modellverwaltung und -steuerung ist der gesamte Entwicklungsprozess sehr primitiv und der Schwellenwert ist sehr hoch.

Für ein Unternehmen, das intern große Bewerbungen für die Modellbranche fördert, bedeutet dies einen raschen Kostenanstieg und Schwierigkeiten bei der Sicherstellung der Schulungseffizienz.

Ein Jahr ist vergangen und Branchen wie Finanzen, Marketing, Automobil, Content, Recht und Büro integrieren sich aktiv in große Modelle. Das starke Potenzial großer Modelle ist in vielen Branchen zu einem wichtigen Faktor bei der Umstrukturierung der Wettbewerbslandschaft geworden. Szenarien, die Ihr Unternehmen mit großen Modellen kombinieren, schneller zu finden und diese effizient umzusetzen, ist zum Schlüssel zum Wettbewerb geworden.

Aber die Entwicklung von Branchenmodellen ist keine reibungslose Sache. Heute stehen wir immer noch vor einer Reihe von Herausforderungen und Chancen:

Daten aus verschiedenen Branchen weisen unterschiedliche Konzentrationen und Dezentralisierungszustände auf Zykluszeit und Verarbeitungsschwierigkeit sind unterschiedlich; das effiziente Laden riesiger multimodaler Daten während des Trainings ist ein Problem, das gelöst werden muss.

Zweitens haben die Stabilität der Umgebung während des Trainings großer Modelle, die Verarbeitung der Fehler-Breakpoint-Recovery und das kontinuierliche Training einen großen Einfluss auf die Trainingseffizienz im Trainings- und Bereitstellungsprozess, wie die Rechenleistung effizient geplant und die Rechenleistung verbessert werden kann Strom Die Auslastung der Humanressourcen ist auch ein Kostenfaktor, den Unternehmen berücksichtigen müssen.

JD Cloud teilte auf der Xi'an City Conference mit, dass JD Cloud in der vergangenen Praxisphase festgestellt hat, dass die Herausforderung großer Industriemodelle nicht nur in der Technologie selbst liegt, sondern auch darin, wie Technologie mit Industrieanwendung kombiniert werden kann Die eigentliche Herausforderung bei der Umsetzung der großen Modellindustrie besteht darin, Kosten, Effizienz und Erfahrung in Einklang zu bringen.

Die Rückkehr zur grundlegendsten Entwicklungsebene und das Ausbalancieren von Kosten, Effizienz und Erfahrung bedeuten, dass einige Probleme erneut gelöst und optimiert werden müssen.

Gong Yicheng, Leiter der IaaS-Produktforschungs- und Entwicklungsabteilung von Jingdong Cloud, erklärte im Interview weiter, dass sich die Anforderungen an die Entwicklungsinfrastruktur im Zeitalter großer Modelle stark von denen traditioneller unterschieden haben. In Bezug auf die Effizienz konnten im vergangenen KI-Entwicklungsprozess selbst relativ kostengünstige GPUs viele damit verbundene Arbeiten erledigen. In Szenarien mit großen Modellen war die KI-Entwicklung jedoch stark auf kostenintensive GPUs wie A100 und A800 angewiesen. Die Anforderungen an Strom und Leistung werden höher und die Kosten steigen rasant.

„Daher ist es für die Kosteneffizienz der Entwicklung großer Modelle besonders wichtig geworden, die Leistung dieser Hardware angesichts der hohen Kosten auf das Äußerste zu treiben.“ Der Datendurchsatz ist nicht so hoch wie bei großen Modellen, da viele GPUs gleichzeitig arbeiten müssen. Daher ist das gleichzeitige Lesen großer Modelle möglich, auch wenn die Datenmenge selbst nicht groß ist Probleme stellen Hochleistungsspeicher vor Herausforderungen, denen bisherige Speichermechanismen oft nicht gerecht werden.

Gong Yicheng erwähnte auch, dass die Effizienz des gesamten Modells höher ist, wenn die Verzögerung während des Datenzugriffsprozesses geringer ist. Wenn Sie selbst entwickelte Smart Chips verwenden, können Sie Netzwerke mit geringer Latenz vollständig nutzen, was dazu beitragen kann, die Effizienz des gesamten Modelltrainings zu verbessern.

Darüber hinaus erfordert das Training großer Modelle mit mehr als 100 Milliarden Parametern auf Skalenebene grundsätzlich mehr als 1.000 Kalorien für das Training. Gong Yicheng teilte mit, dass dies in früheren KI-Entwicklungen äußerst selten vorkomme, sodass hohe und neue Erfahrungsanforderungen für die Entwicklung gestellt würden und die entsprechende Entwicklungsinfrastruktur völlig anders sei.

Für Unternehmen, die die Effizienz der Entwicklung großer Modelle verbessern und dazu beitragen möchten, dass große Modelle besser in der Branche implementiert werden, ist eine neue Infrastruktur erforderlich.

JD Cloud veröffentlicht Yanxi AI-Computing-Plattform

Am 26. September veröffentlichte JD.com offiziell die Yanxi AI-Entwicklungs-Computing-Plattform auf der Xi'an City Conference. Das Produkt umfasst Datenvorbereitung und Modellentwicklung ., Modellschulung und Modellbereitstellung, vollständige Prozess-KI-Entwicklungsfunktionen, voreingestellte Mainstream-Open-Source-Großmodelle und einige kommerzielle Großmodelle sowie mehr als 100 Inferenztools und Frameworks, die den Schwellenwert und die Kosten der Entwicklung großer Modelle effektiv senken können.

In Bezug auf die Leistungsverbesserung hat die Yanxi AI Development Computing-Plattform viele technologische Durchbrüche bei Rechenleistung und Speicher erzielt. Auf der untersten Ebene kann die Plattform die GPU-Rechenleistung insgesamt weiter planen und koordinieren und so die Planungseffizienz der zugrunde liegenden Ressourcennutzung der Plattform verbessern.

Nach Angaben von JD Cloud wird JD Cloud in Bezug auf die Rechenleistung Cloud-Hosts der fünften Generation auf der Plattform bereitstellen, verschiedene Hochleistungsproduktformen, kann maximale Rechenleistung bereitstellen, die Hunderttausende unterstützen kann GPUs-Knotengröße. Auf Netzwerkebene wird der selbst entwickelte RDMA-Überlastungsalgorithmus verwendet, um den RDMA-Netzwerkverkehrspfad global zu steuern. Verschiedene GPU-Knoten unterstützen maximal 3,2 Tbit/s RDMA-Netzwerkbandbreite, und die Übertragungsverzögerung beträgt nur etwa 2 us Fähigkeitsunterstützung.

In Bezug auf den Speicher kann der verteilte Yunhai-Speicher von JD Cloud für den Durchsatz großer Modelltrainingsdaten große Datenmengen großer Modelle und Clusteranforderungen mit hoher Parallelität unterstützen und zig Millionen IOPS mit einer Latenz von nur Hunderten erreichen Mikrosekunden. Mit der neuen Speicher- und Computer-Trennarchitektur kann Yunhai Kunden mehr als 30 % der gesamten Infrastrukturkosten einsparen. Sie wird mittlerweile häufig in neuen Szenarien wie Hochleistungsrechnen und KI-Schulung sowie in traditionellen Szenarien wie Audio eingesetzt sowie Videospeicherung und Datenberichte.

Zusätzlich zur Optimierung der zugrunde liegenden Ressourcen kann die Yanxi AI-Computing-Plattform großen Modellentwicklern dabei helfen, die Effizienz der gesamten Verbindung zu verbessern und Datenverarbeitung, Modellentwicklung, Training, Bereitstellung, Bewertung sowie Trainingsinferenzoptimierung und -modell effizient zu implementieren Sicherheit. Andere Arbeiten:

• Im Datenverwaltungsprozess kann Yanxi Modellentwicklern bei der Implementierung von Datenimport, -bereinigung, -anmerkung und -verbesserung durch intelligente Annotationsmodelle, Datenverbesserungsmodelle und Datenkonvertierungs-Toolsets helfen Import und intelligente Analyse mehrerer Dateiformate und bietet automatische und halbautomatische Datenanmerkungsfunktionen. Helfen Sie bei der Lösung von Problemen wie verstreuter Datenspeicherung, unterschiedlichen Datenformaten, ungleichmäßiger Datenqualität und geringer Effizienz der manuellen Datenanmerkung.
• Im verteilten Trainingsprozess passt sich die Yanxi-Plattform an inländische Hardware an, unterstützt HPC und integriert leistungsstarke Dateisysteme; stellt sicher, dass Hardwareressourcen vollständig genutzt werden; zur Vereinfachung der Verwaltung von Schulungsaufgaben. Helfen Sie dabei, das Problem des schnellen Wachstums der Netzwerk- und Algorithmenkomplexität zu lösen, was zu Knappheit und Verschwendung von Rechenressourcen führt. Schwierigkeiten bei der Verwendung und Anpassung von HPC, Hochleistungsrechnen, Hochleistungsdateisystemen und heterogener Hardware; Schulungs- und Lernkosten, Verbesserung und andere Probleme.
• In Bezug auf codefreie Entwicklungsfunktionen vereinfacht den Entwicklungsprozess von Großmodellen weiter. Benutzer können das in die Plattform integrierte große Modell direkt auswählen, Daten hochladen und dann mit der Auswahl einer Trainingsmethode fortfahren. Nachdem sie eine der beiden codelosen Trainingsmethoden Hyperparameter und AutoML angegeben haben, erhalten sie ein fein abgestimmtes Modell oder eine Anwendung.
• Auf der Anwendungsebene verfügt die Yanxi-Plattform über integrierte No-Code-Entwicklungstools für gängige Anwendungsszenarien wie Frage- und Antwortentwicklung, Dokumentanalyseentwicklung und Plug-in-Entwicklung. Nachdem Sie das Modell, die Wissensdatenbank, die Eingabeaufforderungsvorlage und die Entwicklungsplattform ausgewählt haben, können Sie diese mit einem Klick bereitstellen. Und kann die Überwachung, Nachverfolgung von Tests und Testauswertung unterstützen.

Im Großen und Ganzen kann die KI-Entwicklungs- und Computerplattform von Yanxi die Bedürfnisse von Benutzern mit unterschiedlichen beruflichen Niveaus erfüllen. Für Entwickler großer Modellalgorithmen kann es den gesamten Prozess von der Datenvorbereitung, Modellauswahl, Codeoptimierung, Bereitstellung und Freigabe usw. unterstützen. Entwickler der Anwendungsschicht können einen codelosen Ansatz verwenden, um Modelle visuell auszuwählen, Daten hochzuladen und Parameter zu konfigurieren. Sie können Aufgaben auslösen, ohne Code zu schreiben, und mit dem Training von Modellaufgaben beginnen, wodurch der Schwellenwert gesenkt wird.

In Bezug auf die Einführung von Modellen verfügt die Plattform derzeit über integrierte kommerzielle Modelle wie Yanxi, Spark und LLama2 sowie Open-Source-Modelle. Gong Yicheng sagte, dass Yanxis Ansatz bei der Modellauswahl eher auf Qualität als auf Quantität abzielt: Es wählt relativ herausragende Geschäftsmodelle in verschiedenen technischen Bereichen sowie einige Branchenmodelle aus, die auf Basismodellen basieren, um zu vermeiden, dass Benutzer in Auswahlangst geraten.

Darüber hinaus wird sich Yanxi später auf die Einführung von Branchenmodellanwendungen konzentrieren, die von JD.com auf der Grundlage grundlegender Modelle wie Einzelhandel, Gesundheitsszenarien und Branchenanwendungsmodellen erstellt wurden, die tatsächlich eine groß angelegte Implementierung auf der Plattform erreicht haben, um zu helfen die Entwicklung der Plattform zur Förderung der Umsetzung damit verbundener Geschäfte.

Derzeit verfügt Yanxi über drei Bereitstellungsmethoden: Eine davon ist die MaaS-Serviceform. Entwickler können große Modelle über die API auf nutzungsbasierte und kostengünstige Weise erkunden und nutzen. Die andere ist die öffentliche Bereitstellung In der Cloud-SaaS-Version können Benutzer die von der Plattform bereitgestellten One-Stop-Modellentwicklungs-, Schulungs- und Bereitstellungsfunktionen nutzen und basierend auf den Vorteilen der elastischen Bereitstellung öffentlicher Cloud-Ressourcen mit der Entwicklung und Bereitstellung großer Industriemodelle zu minimierten Kosten beginnen. Bei der dritten Version handelt es sich um eine privatisierte Lieferversion, um Kunden gerecht zu werden, die speziellere Anforderungen an die Datensicherheit haben und bei der die Daten vollständig lokalisiert sind.

In Zukunft wird Yanxi seine Plattformfähigkeiten weiter verbessern, die inländische Hardwareabdeckung weiter verbessern, modellhafte ökologische Zusammenarbeit, Plug-in-Entwicklung, Anwendungsbewertungsdienste, All-in-One-Maschinenbereitstellung und Agentenentwicklungsdienste usw. und helfen systematisch bei der Lösung von Branchenproblemen. Zu den Problemen gehören Schwierigkeiten bei der Entwicklung und Implementierung großer Modelle, Schwierigkeiten bei der Entwicklung großer Modellanwendungen, teure Modelltrainings- und Inferenzkosten, Schwierigkeiten bei der Beschaffung von Modellen und Anwendungen sowie Schwierigkeiten bei der Verwendung und Anpassung von Hochleistungsmodellen Computing, Hochleistungsdateien und heterogene Hardware.

Förderung der Umsetzung großer Modelle in Tausenden von Branchen

Auf der Xi'an City Conference erwähnte Cao Peng, Vorsitzender des Technischen Komitees der JD Group und Präsident der JD Cloud Division, in seinem Die Rede ist davon, dass in der Großmodellindustrie nach und nach große Modelle immer beliebter werden. Wir hoffen, dass wir durch die industrielle Umsetzung eine bessere industrielle Effizienz erzielen und diese im Wesentlichen in mehr Szenarien reproduzieren können stellt höhere Anforderungen an den Modelltrainingsprozess und die Infrastruktur: Modelle müssen einfacher zu bedienen sein, niedrigere Schwellenwerte und geringere Kosten aufweisen und die Rechenleistung flexibel nutzen können.

Die KI-Entwicklungscomputerplattform ist eine der wichtigen Lösungen zur Lösung dieser Probleme. Eine leistungsstarke und benutzerfreundliche KI-Entwicklungscomputerplattform kann es mehr Branchenparteien ermöglichen, sich am Aufbau großer Modellindustrien zu beteiligen zu geringen Kosten und inspirieren mehr Das Aufkommen branchenübergreifender Großmodelle hat die Implementierung großer Modelle in Tausenden von Branchen beschleunigt.

Auf dem tatsächlichen Markt sagte Gong Yicheng: Die wichtigsten Highlights, die Branchenkunden bei der Auswahl einer KI-Computing-Plattform berücksichtigen werden, sind: Branchenverständnis und Plattformeffizienz. Im Vergleich zu anderen KI-Computerplattformen kann die KI-Entwicklungscomputerplattform von Yanxi nicht nur die ultimative Leistung verbessern, sondern auch die langjährige Erfahrung von JD.com in vorteilhaften Szenarien wie Einzelhandel, Finanzen, Logistik, Gesundheit usw. kombinieren, um eine zu haben professionellere Auswahl an großen Industriemodellen.

Im Modellökosystem der Yanxi AI Computing-Plattform wird die Yanxi AI Computing-Plattform neben integrierten hervorragenden Geschäftsmodellen und Open-Source-Modellen auch weitere Verbesserungsmöglichkeiten hinzufügen, um die Schwelle weiter zu senken große Modelle, wie Chinesischkenntnisse, Mathematikkenntnisse usw., sodass Benutzer große Modelle auswählen können, die benutzerfreundlicher und professioneller sind.

Noch wichtiger ist, dass sich die Yanxi AI-Entwicklungs- und Computerplattform auch an Entwickler großer Modellanwendungen richtet und die Erstellung proprietärer Modelle auf codelose Weise unterstützt. Zusätzlich zu den oben genannten Grundmodellen wird die Yanxi-Plattform dies auch tun Bereitstellung weiterer proprietärer Modelle für Anwendungsszenarien für Benutzer zur schnellen Implementierung in ihren eigenen Branchen.

Derzeit umfassen die von der Yanxi-Plattform bereitgestellten anwendungsszenariospezifischen Modelle hauptsächlich ausgereifte Hochfrequenzszenarien wie die Entwicklung von Fragen und Antworten sowie die Analyse und Entwicklung von Dokumenten. Diese Anwendungen von Jingdong wurden in ihren eigenen vorteilhaften Bereichen mehrfach verifiziert und können in Kombination mit großen Modellen die Effizienz schnell verbessern.

Nehmen Sie das Konversationstool als Beispiel: Ab 2021 haben Miniso und JD Cloud eine Kooperation geschlossen, um die Kundendienst-Technologieprodukte von JD Cloud auf Miniso anzuwenden, die das Kundendienstteam von Miniso Pinmen, das Benutzerbetriebsteam, abdeckt. IT-Service-Betriebs- und Wartungsteam. Im April 2022 wurde nacheinander die Yanxi-Produktreihe auf den Markt gebracht, darunter eine Reihe intelligenter Produkte wie Online-Kundendienstroboter, Sprachantwortroboter, Sprachroboter für ausgehende Anrufe, intelligente Qualitätsprüfung und intelligente Wissensdatenbanken, die erhebliche Fortschritte erzielt haben Ergebnisse.

Feedback-Daten zeigen, dass das aktuelle durchschnittliche tägliche Beratungsdienstvolumen von Produkten der Yanxi-Serie fast das 10.000-fache beträgt, wobei die Antwortgenauigkeitsrate des Online-Kundendienstroboters 97 % übersteigt, die unabhängige Empfangsrate 70 % übersteigt und der Service Die Kosten werden um 40 % gesenkt. Die Reaktionsgenauigkeit des Roboters liegt bei über 93 % und er löst selbstständig 46,1 % der Kundenprobleme Die Benutzerzufriedenheit ist um 20 % gestiegen; der Inhalt der intelligenten Wissensdatenbank umfasst etwa 8.800 Kernartikel der Marke „MINISO“ und etwa 4.600 Artikel der Marke „TOP TOY“.

Der praktische Prozess der Implementierung großer Modelle hat das Stadium der Ausbreitung von einem einzigen Punkt nach außen erreicht. In der Branche gibt es viele Industrieunternehmen, die Miniso ähneln, und das Gesprächsroboter-Szenario kann ihnen einen größeren Mehrwert bieten. Im Hinblick auf die Einführung der Xi AI-Entwicklungs- und Computerplattform wird sie Industrieunternehmen auf der untersten Ebene mit Rechenleistung, Datenverwaltung, codefreien Anwendungen und anderen vollständigen Links unterstützen und diesen Unternehmen eine niedrigere Schwelle bieten, niedriger Kosten und kürzerer Schulungszyklus. Groß angelegter Modell-Industrialisierungsplan. Es ist absehbar, dass Fälle wie Miniso in Zukunft häufiger auftreten werden.

Darüber hinaus betonte JD Cloud, dass der Low-Code-Aspekt der JD Yanxi AI-Computing-Plattform im Vergleich zu anderen Konkurrenzprodukten die Entwicklungsschwelle für Anwendungsentwickler weiter senkt und der Hochleistungsspeicher völlig unabhängig ist Das gesamte technische System weist ein hohes Maß an vollständiger Anpassungsfähigkeit und hoher Leistungseffizienz auf.

Mit der Popularisierung der neuen digitalen Infrastruktur wird die Implementierung großer Modelle in Tausenden von Branchen schneller voranschreiten und das unmögliche Dreieck aus Kosteneffizienz und Innovation wird einen größeren Raum für Fantasie erhalten.

Das obige ist der detaillierte Inhalt vonDie KI-Entwicklungs- und Computerplattform Yanxi wird offiziell eingeführt, um Großmodelle in greifbare Nähe zu bringen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!