NUS und Byte arbeiteten branchenübergreifend zusammen, um durch Modelloptimierung ein 72-mal schnelleres Training zu erreichen, und gewannen den AAAI2023 Outstanding Paper.

Kürzlich gab die führende internationale Konferenz für künstliche Intelligenz AAAI 2023 die Auswahlergebnisse bekannt. Der von der National University of Singapore (NUS) und dem Bytedance Machine Learning Team (AML) gemeinsam erstellte Fachartikel „CowClip“ kam in die engere Wahl für „Distinguished Papers“. CowClip ist eine Strategie zur Modelltrainingsoptimierung, die die Modelltrainingsgeschwindigkeit auf einer einzelnen GPU um das 72-fache erhöhen und gleichzeitig die Modellgenauigkeit gewährleisten kann. Der entsprechende Code ist jetzt Open Source. 🏜 AAAI ist eine jährliche Konferenz der International Association for the Advancement of Artificial Intelligence. Sie ist eine der ältesten akademischen Spitzenkonferenzen im Bereich der künstlichen Intelligenz. AAAI 2023 erhielt insgesamt 8777 Papiereinreichungen, von denen 1721 Papiere angenommen wurden, mit einer Annahmequote von 19,6 %. Die Abteilung für Informatik der Universität Oxford gewann die höchste Auszeichnung der Konferenz (Outstanding Paper Award), und die gemeinsame Arbeit der Peking-Universität und anderer Institutionen gewann den Outstanding Student Paper Award. Darüber hinaus wurden auf der Konferenz auch 12 Distinguished Papers ausgewählt, die viele Bereiche abdecken, wie z. B. die Optimierung von Modelltrainingsstrategien, die Optimierung graphischer neuronaler Netze und die Suche nach neuronalen Architekturen. ​

Wie man die Geschwindigkeit des Modelltrainings verbessern kann, ist ein ewiges Thema im Bereich des maschinellen Lernens. Seit Google 2018 das erste vorab trainierte BERT für große Modelle vorschlug, hat sich das Training großer Modelle nach und nach zu einem Trend und Trend im Bereich Deep Learning entwickelt. Allerdings bedeutet die zunehmende Größe des Modells auch, dass ein vollständiges Training viel Zeit und Rechenaufwand erfordert. Nach zuvor von Google veröffentlichten Informationen übersteigen die einzelnen laufenden Kosten beim Training der 11-Milliarden-Parameter-Variante von T5 (dem vorab trainierten Modell, das Google 2019 eingeführt hat) 1,3 Millionen US-Dollar.

​

Die als herausragende Arbeit ausgewählte Strategie zur Optimierung des CowClip-Modelltrainings kann ein umfassenderes GPU-Performance-Mining erreichen und die Trainingsgeschwindigkeit verbessern, indem die Modellgenauigkeit einer größeren Chargengröße sichergestellt wird. Experimente zeigen, dass das mit CowClip trainierte Modell nicht nur eine höhere Genauigkeit als andere Methoden aufweist, sondern auch die Trainingsgeschwindigkeit erheblich verbessert. Durch das Training des Deep FM-Modells auf einer einzelnen GPU kann die Trainingszeit basierend auf den Daten von 12 Stunden auf 10 Minuten verkürzt werden Der öffentliche Datensatz erhöht die Modelltrainingsgeschwindigkeit gleichzeitig um das 72-fache. ​

Mit effizienter Datenverarbeitung und genaueren Analyse- und Entscheidungsfähigkeiten wird die Technologie der künstlichen Intelligenz zunehmend in Bereichen wie medizinische Versorgung, Finanzen, Fertigung, Bildung und E-Commerce sowie bei der Genauigkeit von Modellen eingesetzt Ausbildung und Effizienz werden weiterhin ein Schlüsselfaktor für die Entwicklung der Branche der künstlichen Intelligenz sein. ​

Berichten zufolge hat das Bytedance Machine Learning Team (AML) die Kerntechnologie von CowClip in einigen Geschäftsbereichen des Unternehmens implementiert. Das Team stellt Middle-End-Dienste für maschinelles Lernen für das Unternehmen bereit, einschließlich groß angelegter Schulungssysteme und Inferenzsysteme für Geschäftsszenarien wie Empfehlung, Werbung und Suche nach Toutiao, Douyin, Xigua Video usw., und bietet einfache und unkomplizierte benutzerfreundliche Inferenzsysteme für Unternehmenskunden über die benutzerfreundliche, stabile und zuverlässige Plattform für maschinelles Lernen. ​

Das obige ist der detaillierte Inhalt vonNUS und Byte arbeiteten branchenübergreifend zusammen, um durch Modelloptimierung ein 72-mal schnelleres Training zu erreichen, und gewannen den AAAI2023 Outstanding Paper.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!