Dimensity 9300, der erste mobile Chip mit generativer KI: Kann große Modelle mit 33 Milliarden Parametern ausführen

KI-Zeichnungen können in einer Sekunde generiert werden, und ein großes Sprachmodell kann mit 20 Token pro Sekunde generiert werden.

2023 ist das erste Jahr der generativen KI, und auch die mobilen Geräte in unseren Händen schreiten rasant in die Ära großer Modelle vor.

Am Abend des 6. November veröffentlichte MediaTek offiziell sein jährliches Flaggschiff-SoC Dimensity 9300. Dieser Chip verfügt über ein 4+4-Full-Core-Design und übertrifft die Konkurrenz von Android und Apple in Bezug auf Leistung und Energieverbrauch.

Bemerkenswerter ist, dass der diesjährige Flaggschiff-Chip als generativer 5G-KI-Mobilchip definiert ist, der überlegene Funktionen wie hohe Intelligenz, hohe Leistung, hohe Energieeffizienz und geringen Stromverbrauch bietet, die die der Vergangenheit bei weitem übertreffen.

Dimensity 9300 nutzt den 4-nm-Prozess der neuen Generation von TSMC und verfügt über 22,7 Milliarden Transistoren. Um den Rechenleistungsanforderungen des generativen KI-Zeitalters gerecht zu werden, war der Dimensity 9300 Vorreiter bei der Verwendung der „All-Large-Core“-CPU-Architektur, einschließlich 4 Cortex-X4-Ultra-Large-Kernen mit einer maximalen Frequenz von 3,25 GHz und 4 Hauptfrequenz Der große Cortex-A720-Kern mit 2,0 GHz hat eine um 40 % höhere Spitzenleistung als die Vorgängergeneration und der Stromverbrauch wird bei gleicher Leistung um 33 % eingespart.

Diese Architektur gewährleistet eine schnelle Arbeitsgeschwindigkeit und hohe Effizienz und verfügt gleichzeitig über Energiesparfunktionen. Sie kann den Stromverbrauch reduzieren und die Batterielebensdauer sowohl in Anwendungsszenarien mit geringer als auch hoher Last verlängern. MediaTek sagte, dass das Dimensity 9300 für allgemeine Aufgabenanforderungen wie Video, Live-Übertragung und Spiele optimiert wurde und sich besser an den Multitasking-Modus von Mobiltelefonen mit Klappbildschirm anpassen lässt als zuvor.

Mit der Verbesserung der Chip-Herstellungsprozesse werden Transistoren kontinuierlich miniaturisiert und verschiedene Leckageprobleme sind zu einem großen Hindernis für die Entwicklung des Mooreschen Gesetzes geworden. Leckagen bedeuten einen erheblichen Anstieg des Energieverbrauchs, und der Chip kann außerdem überhitzen oder sogar ausfallen. In diesem Fall ist der Stromverbrauchsunterschied zwischen dem kleinen Kern und dem großen Kern immer kleiner geworden.

Berichten zufolge begann MediaTek bereits vor drei Jahren mit der Erforschung des Full-Core-Chipformats. Indem wir nun die großen Kerne Aufgaben schnell verarbeiten lassen und sie dann für längere Zeiträume in den Ruhezustand versetzen, können wir Prozessoren mit großen Kernen kontraintuitiv energieeffizienter machen als ihre Gegenstücke mit kleineren Kernen. Andererseits hat MediaTek auch eine Out-of-Order-Strategie hinzugefügt, um die Effizienz der Anwendungsausführung weiter zu steigern. MediaTek geht davon aus, dass das Design aller großen Kerne bis zum nächsten Jahr zum Konsens in der Branche werden wird.

Zusätzlich zu den herkömmlichen Funktionen hat sich MediaTek dieses Mal auf die Verbesserung der KI-Leistung des Chips konzentriert. Dimensity 9300 integriert den KI-Prozessor APU 790 der siebten Generation, der speziell für generative KI entwickelt wurde. Seine Leistung und Energieeffizienz wurden im Vergleich zur Vorgängergeneration deutlich verbessert Der Stromverbrauch wird um 45 % reduziert.

APU 790 verfügt über eine integrierte generative KI-Engine auf Hardwareebene, die im Vergleich zur vorherigen Generation schnelleres und sichereres Edge-KI-Computing ermöglicht und insbesondere Operatoren für Transformer, die häufig in großen Sprachmodellen verwendet werden, und die Verarbeitungsgeschwindigkeit beschleunigt der großen Modelle ist 8-mal schneller als die vorherige Generation.

Die Hauptkernnetzwerkarchitektur zeitgenössischer populärer großer Sprachmodelle (LLM) besteht hauptsächlich aus Transformatorblöcken. Im Vergleich zum üblichen CNN-Netzwerk in der Bildverarbeitung verwendet das Transformatornetzwerk den Softmax + LayerNorm-Operator als Kern und verfügt über weniger Faltungsoperatoren, sodass der Beschleunigungsmechanismus des ursprünglichen KI-Kerns nicht anwendbar ist. Beim APU-Prozessor der siebten Generation konzentriert sich MediaTek auf die Optimierung des Softmax+LayerNorm-Operators, um die Rechenleistung zu verbessern.

Quantifizierung ist derzeit eine der effektivsten Möglichkeiten, das KI-Denken zu optimieren. Basierend auf den Eigenschaften großer Sprachmodelle mit Hunderten Millionen Parametern hat MediaTek eine INT4-Quantisierungstechnologie mit gemischter Präzision entwickelt, kombiniert mit seiner einzigartigen Speicher-Hardware-Komprimierungstechnologie NeuroPilot Compression, die die Speicherbandbreite effizienter nutzen und die Belegung des Terminals erheblich reduzieren kann Speicher durch große KI-Modelle.

MediaTek-Ingenieure sagten, dass große Modelle zwar eine bessere Produktivität bringen können, die 13-B-Größe des lokalen Betriebs jedoch bedeutet, dass sie etwa 13 GB Speicher beanspruchen, plus die 4 GB von Android selbst und die 6 GB anderer APPs, was die Speicherkapazität von überschritten hat Die meisten Mobiltelefone verfügen über 16G. Die von Dimensity 9300 verwendete Speicher-Hardware-Komprimierungstechnologie reduziert den Speicherverbrauch großer Modelle durch Quantisierung und Komprimierung auf 5 GB. Nur so können sich die meisten Benutzer die Ausführung großer Modellanwendungen im täglichen Leben leisten.

APU 790 unterstützt auch die generative KI-Modell-End-Skill-Expansion-Technologie NeuroPilot Fusion, die auf der Endseite kontinuierlich eine Low-Rank-Adaptionsfusion (LoRA, Low-Rank Adaptation) basierend auf dem grundlegenden großen Modell durchführen kann. Dadurch erhält das große Grundmodell umfassendere Funktionen.

Basierend auf dieser Hardware und Optimierung kann Dimensity 9300 2019 Punkte auf der neuesten Version des von der ETH Zürich vorgeschlagenen KI-Benchmarks erreichen, was einen neuen Höchstwert für mobile Chips darstellt.

Mit Dimensity 9300 kann die endseitige KI-Bildgenerierung wie Stable Diffusion Bilder innerhalb einer Sekunde erzeugen, und die endseitige Inferenz eines großen Sprachmodells mit 7 Milliarden Parametern kann 20 Token pro Sekunde erreichen.

MediaTek sagte, dass es in seiner Zusammenarbeit mit vivo, basierend auf Dimensity 9300, die Führung bei der Umsetzung der 7B- und 13B-Großmodelle auf dem mobilen Endgerät übernommen hat. Es wird erwartet, dass solche Produkte bald auf dem Terminal eingeführt werden. Darüber hinaus hat MediaTek in extremeren Fällen auch große Modelle bis 33B getestet.

In der Kommunikationsbesprechung vor der Veröffentlichung und vor Ort demonstrierte MediaTek die Fähigkeit, die Engineering-Maschine Dimensity 9300 zu nutzen, um LoRA-Textdiagramme und die Generierung großer Modelltexte zu realisieren.

Wir können davon ausgehen, dass wir auf der neuesten Generation von Flaggschiff-Mobiltelefonen intelligentere Assistenten verwenden können, um schnell auf Chats zu antworten und basierend auf den Vorschlägen großer Modelle mit der rechten Maustaste zu klicken, und KI-generierte Emoticons verwenden können, um Bilder zu bekämpfen ...

Was bald auf den Markt kommt und jeder es erleben kann, ist der KI-Assistent Lan Xin Xiao V im OriginOS 4-System auf Mobiltelefonen der vivo X100-Serie.

Anfang dieses Monats stellte vivo gerade das Blue-Heart-Modell und seine Anwendungen auf der Entwicklerkonferenz vor Diese Reihe von Funktionen ist offensichtlich für Mobiltelefone gedacht. Mit der Unterstützung großer Modelle verfügt Lanxin Xiao V über branchenführende Weisheit. Es kann Informationen zur Verarbeitung per Sprache, Text, Datei-Drag-and-Drop usw. empfangen. Wenn Sie auf einfache Fragen stoßen, antwortet Little V mit Text oder Bildern. Bei komplexen Fragen können Antworten auch in Form eines SWOT-Modells oder einer Mindmap ausgegeben werden.

Darüber hinaus decken die KI-Fähigkeiten des Dimensity 9300 auch alles von der Suche bis zum Schießen ab.

MediaTek sagte, dass seine KI-Entwicklungsplattform NeuroPilot hochmoderne Mainstream-KI-Großmodelle wie Android, LIama 2, Wen Xinyiyan und Baichuan-Großmodelle tiefgreifend angepasst und optimiert hat und weitere Anwendungen auf dem Weg sind.

In Bezug auf die GPU verwendet Dimensity 9300 den 12-Kern-Immortalis-G720. Im Vergleich zur Vorgängergeneration ist die Spitzenleistung um 46 % gestiegen und der Stromverbrauch kann bei gleicher Leistung um 40 % eingespart werden. Dimensity 9300 ist mit der Hardware-Raytracing-Engine der zweiten Generation von MediaTek ausgestattet, die 60 FPS hochflüssiges Raytracing unterstützt und globale Beleuchtungseffekte auf Spielkonsolenebene bietet.

Darüber hinaus wurde die einzigartige spieladaptive MAGT-Steuerungstechnologie von MediaTek auf die „Star Speed ​​​​Engine“ aktualisiert, die nicht nur umfassend mit Spielanwendungen zusammenarbeitet, sondern auch die ökologische Zusammenarbeit auf weitere Arten von Anwendungen erweitert. Auf der Veranstaltung gab MediaTek bekannt, dass die Dimensity 9300-Plattform die Raytracing-Version von „World of Sword and Sword“ starten und auch ein stabiles 60-Frame-Raytracing-Erlebnis für das Handyspiel „Dark Zone Breakout“ erreichen wird.

Aktuell übertreffen die CPU- und GPU-Leistung und der Stromverbrauch der Dimensity 9300-Engineering-Maschine laut vielen Bewertungen von Drittanbietern die von Snapdragon 8Gen3 und A17Pro. Es scheint, dass die Strategie, alle großen Kerne zu verwenden, erfolgreich ist.

                                                                                         { Schärfentiefe und Spot-Dual-Engines, voller Pixelfokus mit 2-fach verlustfreiem Zoom, optischer OIS-Anti-Shake-Kern, 3-Mikrofon-Rauschunterdrückung mit hoher dynamischer Aufnahme, kann mehr als 99 % der Windgeräusche bei einer Windgeschwindigkeit von 25 km/h filtern. Der Dimensity 9300 verfügt außerdem über einen neuen sicheren Boot-Chip, eine isolierte sichere Computerumgebung und die Speichermarkierungserweiterungen von Armv9, um Entwicklern dabei zu helfen, Speicher-Exploits zu vermeiden.

In Bezug auf das Netzwerk integriert Dimensity 9300 ein 5G-Modem, das Sub-6GHz-Vier-Träger-Aggregation (4CC-CA) und Multi-Standard-Dual-Card-Dual-Pass unterstützt. Es verbessert auch das Signal durch KI-Algorithmen und unterstützt 5G-Situation Bewusstseinsfunktionen. Dimensity 9300 unterstützt die Frequenzbänder Wi-Fi 7 und 5G unter 6 GHz mit einer Downlink-Rate von 7 Gbit/s. Was die Bluetooth-Verbindung betrifft, unterstützt Dimensity 9300 3 Bluetooth-Antennen und die einzigartige Zweikanal-Bluetooth-Flash-Verbindungstechnologie, die ein Bluetooth-Audioerlebnis mit extrem geringer Latenz ermöglichen kann.

Berichten zufolge gehören zu den ersten Mobiltelefonen, die den Dimensity 9300-Chip verwenden, vivo, OPPO, Xiaomi, Transsion usw. Nach der Auftaktveranstaltung von MediaTek gab vivo bekannt, dass das Unternehmen als erstes Unternehmen einen neuen Flaggschiff-Chip der am 13. November veröffentlichten X100-Serie und das erste Unternehmen mit LPDDR5T-9600-Speicher implementieren wird.

Wir freuen uns auf die Einführung einer neuen Produktgeneration.

Das obige ist der detaillierte Inhalt vonDimensity 9300, der erste mobile Chip mit generativer KI: Kann große Modelle mit 33 Milliarden Parametern ausführen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!