Maison >Périphériques technologiques >IA >Dimensity 9300, la première puce mobile générative d'IA : capable d'exécuter de grands modèles avec 33 milliards de paramètres
Le dessin IA peut être généré en une seconde et un grand modèle de langage peut être généré à 20 jetons par seconde.
2023 est la première année de l'IA générative, et les appareils mobiles entre nos mains entrent également de manière accélérée dans l'ère des grands modèles.
Le soir du 6 novembre, MediaTek a officiellement lancé son produit phare annuel, le SoC Dimensity 9300. Cette puce a une conception full-core 4+4, surpassant les concurrents d'Android et d'Apple en termes de performances et de consommation d'énergie.
Ce qui est plus remarquable, c'est que la puce phare de cette année est définie comme une puce mobile d'IA générative 5G, offrant des fonctionnalités supérieures de haute intelligence, de hautes performances, de haute efficacité énergétique et de faible consommation d'énergie qui dépassent de loin celles du passé.
Dimensity 9300 utilise le processus 4 nm de nouvelle génération de TSMC et possède 22,7 milliards de transistors. Afin de répondre aux besoins en puissance de calcul de l'ère de l'IA générative, le Dimensity 9300 a été le pionnier de l'utilisation de l'architecture CPU « tout à gros cœurs », comprenant 4 cœurs ultra-larges Cortex-X4 avec une fréquence maximale de 3,25 GHz et 4 fréquence principale Le grand cœur Cortex-A720 à 2,0 GHz a des performances maximales 40 % supérieures à celles de la génération précédente et la consommation d'énergie est économisée de 33 % avec les mêmes performances.
Cette architecture garantit une vitesse de travail rapide et une efficacité élevée tout en disposant de fonctionnalités d'économie d'énergie. Elle peut réduire la consommation d'énergie et prolonger la durée de vie de la batterie dans des scénarios d'application à charge légère et lourde. MediaTek a déclaré que le Dimensity 9300 a été optimisé pour les exigences de tâches courantes telles que la vidéo, la diffusion en direct et les jeux, et qu'il est plus adaptable qu'auparavant au mode multitâche des téléphones mobiles à écran pliable.
À mesure que les processus de fabrication des puces s'améliorent, les transistors sont continuellement miniaturisés et divers problèmes de fuite sont devenus un obstacle majeur au développement de la loi de Moore. Une fuite signifie une augmentation significative de la consommation d’énergie, et la puce sera également confrontée à des problèmes de surchauffe, voire de panne. Dans ce cas, l'écart de consommation d'énergie entre le petit cœur et le grand cœur est devenu de plus en plus petit.
Selon les rapports, MediaTek a commencé à explorer le format de puce full-core il y a trois ans déjà. Désormais, en laissant les gros cœurs traiter les tâches rapidement, puis dormir pendant de plus longues périodes, nous pouvons rendre les processeurs à gros cœurs, de manière contre-intuitive, plus économes en énergie que leurs homologues à plus petit cœur. D'un autre côté, MediaTek a également ajouté une stratégie dans le désordre pour augmenter encore l'efficacité de l'exécution des applications. MediaTek estime que d'ici l'année prochaine, la conception de tous les grands cœurs deviendra le consensus dans l'industrie.
En plus des capacités conventionnelles, MediaTek s'est cette fois concentré sur l'amélioration des performances d'IA de la puce. Dimensity 9300 intègre le processeur d'IA de septième génération APU 790 de MediaTek, spécialement conçu pour l'IA générative. Ses performances et son efficacité énergétique ont été considérablement améliorées par rapport à la génération précédente. Les performances des opérations sur les nombres entiers et des opérations en virgule flottante sont deux fois supérieures à celles de la précédente. génération. La consommation d’énergie est réduite de 45 %.
L'APU 790 dispose d'un moteur d'IA génératif intégré au niveau matériel, qui permet d'obtenir un calcul d'IA de pointe plus rapide et plus sûr. Par rapport à la génération précédente, il accélère spécifiquement les opérateurs pour les transformateurs couramment utilisés dans les grands modèles de langage, ainsi que la vitesse de traitement. des grands modèles est 8 fois plus rapide que la génération précédente.
L'architecture principale du réseau central des grands modèles de langage populaires (LLM) contemporains est principalement composée de blocs de transformateur. Par rapport au réseau CNN commun en vision par ordinateur, le réseau de transformateurs utilise l'opérateur Softmax+LayerNorm comme noyau et a moins d'opérateurs de convolution, de sorte que le mécanisme d'accélération du noyau AI d'origine n'est pas applicable. Sur le processeur APU de septième génération, MediaTek se concentre sur l'optimisation de l'opérateur Softmax+LayerNorm pour améliorer la puissance de calcul.
La quantification est actuellement l'un des moyens efficaces pour optimiser le raisonnement de l'IA. Sur la base des caractéristiques de grands modèles de langage comportant des centaines de millions de paramètres, MediaTek a développé une technologie de quantification INT4 à précision mixte, combinée à sa technologie unique de compression matérielle de mémoire NeuroPilot Compression, qui peut utiliser plus efficacement la bande passante mémoire et réduire considérablement l'occupation du terminal. mémoire par de grands modèles d’IA.
Les ingénieurs de MediaTek ont déclaré que bien que les grands modèles puissent apporter une meilleure productivité, la taille de 13 Go du fonctionnement local signifie qu'il occupe environ 13 Go de mémoire, plus les 4 Go d'Android lui-même et les 6 Go d'autres applications, ce qui a dépassé la capacité de mémoire de la plupart des téléphones mobiles sont 16G. La technologie de compression matérielle de la mémoire utilisée par Dimensity 9300 réduit l'utilisation de la mémoire des grands modèles à 5 Go grâce à la quantification et à la compression. Ce n'est qu'ainsi que la plupart des utilisateurs pourront se permettre d'exécuter des applications de grands modèles dans la vie quotidienne.
APU 790 prend également en charge la technologie générative d'expansion des compétences du modèle d'IA NeuroPilot Fusion, qui peut effectuer en continu une fusion d'adaptation de bas rang (LoRA, Low-Rank Adaptation) du côté final sur la base du grand modèle de base, donnant ainsi au grand modèle de base des capacités plus complètes.
Sur la base d'un tel matériel et d'une telle optimisation, Dimensity 9300 peut atteindre 2019 points sur la dernière version du AI Benchmark proposé par l'ETH Zurich, ce qui constitue un nouveau sommet pour les puces mobiles.
Grâce à Dimensity 9300, la génération d'images d'IA côté extrémité telle que Stable Diffusion peut produire des images en une seconde, et l'inférence côté extrémité d'un grand modèle de langage de 7 milliards de paramètres peut atteindre 20 jetons par seconde.
MediaTek a déclaré que dans sa coopération avec vivo, basée sur Dimensity 9300, elle a pris les devants dans la réalisation de l'inférence des grands modèles 7B et 13B sur le terminal mobile. On s'attend à ce que de tels produits soient bientôt lancés sur le terminal. De plus, dans des cas plus extrêmes, MediaTek a également utilisé de grands modèles allant jusqu'au 33B.
Lors de la réunion de communication avant la sortie et sur place, MediaTek a démontré sa capacité à utiliser la machine d'ingénierie Dimensity 9300 pour réaliser des diagrammes de texte LoRA et la génération de textes de grands modèles.
Nous pouvons prévoir que sur la dernière génération de téléphones mobiles phares, nous pourrons utiliser des assistants intelligents plus intelligents pour répondre rapidement aux chats et faire un clic droit en fonction des suggestions données par les grands modèles, et utiliser des émoticônes générées par l'IA pour combattre les images...
Ce qui sera bientôt lancé et tout le monde pourra en faire l'expérience, c'est l'assistant IA Lan Xin Xiao V dans le système OriginOS 4 sur les téléphones mobiles de la série vivo X100.
Au début de ce mois, vivo vient de présenter le modèle coeur bleu et ses applications lors de la conférence des développeurs Cette série de fonctionnalités est évidemment destinée aux téléphones mobiles. Avec la prise en charge de grands modèles, Lanxin Xiao V possède une sagesse de pointe. Il peut recevoir des informations à traiter par la voix, le texte, le glisser-déposer de fichiers, etc. Si vous rencontrez des questions simples, Little V vous répondra avec du texte ou des images. Pour les questions complexes, il peut également générer des réponses sous la forme d’un modèle SWOT ou d’une carte mentale.
De plus, les capacités d'IA du Dimensity 9300 couvrent également tout, de la recherche au tir. Source de l'image : Geekerwan
Selon les rapports, les premiers téléphones mobiles utilisant la puce Dimensity 9300 incluent vivo, OPPO, Xiaomi, Transsion, etc. Après l'événement de lancement de MediaTek, vivo a annoncé qu'il serait le premier à proposer une nouvelle puce phare de la série X100 lancée le 13 novembre et qu'il serait le premier à implémenter la mémoire LPDDR5T-9600.
Nous attendons avec impatience l'avènement d'une nouvelle génération de produits.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!