TPU vs GPU : différences comparatives de performances et de vitesse dans des scénarios réels

Dans cet article, nous ferons une comparaison TPU vs GPU. Mais avant de plonger, voici ce que vous devez savoir.

Les technologies d'apprentissage automatique et d'intelligence artificielle accélèrent le développement d'applications intelligentes. À cette fin, les fabricants de semi-conducteurs continuent de créer des accélérateurs et des processeurs, notamment des TPU et des CPU, pour gérer des applications plus complexes.

Certains utilisateurs ont du mal à comprendre quand un TPU est recommandé et quand utiliser un GPU pour effectuer leurs tâches informatiques.

Le GPU, également connu sous le nom d'unité de traitement graphique, est la carte vidéo de votre PC qui vous offre une expérience PC visuelle et immersive. Par exemple, si votre PC ne détecte pas le GPU, vous pouvez suivre des étapes simples.

Pour mieux comprendre ces situations, nous devons également clarifier ce qu'est un TPU et comment il se compare à un GPU.

Qu'est-ce que le TPU ?

Un TPU ou Tensor Processing Unit est un circuit intégré spécifique à une application (IC) pour une application spécifique, également connu sous le nom d'ASIC (Application Specific Integrated Circuit). Google a créé le TPU à partir de zéro, a commencé à l'utiliser en 2015 et l'a mis à la disposition du public en 2018.

TPU disponible en puce secondaire ou en version cloud. Pour accélérer l'apprentissage automatique des réseaux de neurones à l'aide du logiciel TensorFlow, les Cloud TPU résolvent des opérations matricielles et vectorielles complexes à une vitesse fulgurante.

Avec TensorFlow, l'équipe Google Brain a développé une plateforme d'apprentissage automatique open source qui permet aux chercheurs, aux développeurs et aux entreprises de créer et d'exploiter des modèles d'IA à l'aide du matériel Cloud TPU.

Lors de la formation de modèles de réseaux neuronaux complexes et robustes, le TPU réduit le temps nécessaire pour atteindre des valeurs précises. Cela signifie que la formation d’un modèle d’apprentissage profond, qui peut prendre des semaines, prend une fraction du temps nécessaire à l’aide de GPU.

Le TPU et le GPU sont-ils identiques ?

Ils sont très différents sur le plan architectural. L'unité de traitement graphique est un processeur à part entière, bien qu'elle soit intégrée à une programmation numérique vectorisée. Les GPU sont en fait la prochaine génération de supercalculateurs Cray.

Le TPU est un coprocesseur qui n'exécute pas d'instructions lui-même ; le code est exécuté sur le CPU, ce qui fournit un flux de petites opérations au TPU.

Quand dois-je utiliser le TPU ?

Les TPU dans le cloud sont adaptés à des applications spécifiques. Dans certains cas, vous préférerez peut-être utiliser un GPU ou un CPU pour effectuer des tâches d'apprentissage automatique. En général, les principes suivants peuvent vous aider à évaluer si un TPU est le meilleur choix pour votre charge de travail :

• Les calculs matriciels dominent le modèle
• Il n'y a pas d'opérations TensorFlow personnalisées dans la boucle d'entraînement principale du modèle
• Ce sont des modèles entraînés sur semaines ou mois
• Ce sont de grands modèles avec des tailles de lots étendues et efficaces.

Passons maintenant directement à la comparaison TPU vs GPU.

Quelle est la différence entre GPU et TPU ?

Architecture TPU vs GPU

Le TPU n'est pas un élément matériel très complexe et ressemble à un moteur de traitement du signal pour les applications radar plutôt qu'à une architecture traditionnelle dérivée du X86.

Bien qu'il existe de nombreuses multiplications et divisions matricielles, il s'apparente plus à un coprocesseur qu'à un GPU ; il exécute uniquement les commandes reçues par l'hôte.

Comme il y a tellement de poids à saisir dans le composant de multiplication matricielle, la DRAM du TPU fonctionne en parallèle comme une seule unité.

De plus, étant donné que le TPU ne peut effectuer que des opérations matricielles, la carte TPU est connectée au système hôte basé sur le CPU pour effectuer des tâches que le TPU ne peut pas gérer.

L'hôte est responsable du transfert des données vers le TPU, du prétraitement et de l'obtention d'informations détaillées à partir du stockage cloud.

Le GPU se soucie davantage de disposer de cœurs disponibles sur lesquels les applications peuvent travailler que d'accéder aux caches à faible latence.

De nombreux PC (clusters de processeurs) dotés de plusieurs SM (Streaming Multiprocessors) deviennent des gadgets à GPU unique, chaque SM contient une couche de cache d'instructions de premier niveau et les cœurs qui l'accompagnent.

Un SM utilise généralement deux couches partagées en cache et une couche privée en cache avant de récupérer les données de la mémoire GDDR-5 globale. L'architecture GPU peut tolérer la latence de la mémoire.

Le GPU fonctionne avec un nombre minimum de niveaux de cache mémoire. Cependant, comme le GPU dispose de plus de transistors dédiés au traitement, il se soucie moins du temps nécessaire pour accéder aux données en mémoire.

Étant donné que le GPU est toujours occupé par suffisamment de calculs, les éventuels retards d'accès à la mémoire sont masqués.

Vitesse du TPU et du GPU

Ce TPU original génère une inférence ciblée à l'aide d'un modèle appris plutôt que d'un modèle entraîné.

Les TPU sont 15 à 30 fois plus rapides que les GPU et CPU actuels sur les applications d'IA commerciales utilisant l'inférence de réseau neuronal.

De plus, le TPU est très économe en énergie, avec des valeurs TOPS/Watt augmentées de 30 à 80 fois.

Conseil d'expert : Certains problèmes de PC sont difficiles à résoudre, notamment lorsque le référentiel est corrompu ou que des fichiers Windows sont manquants. Si vous rencontrez des difficultés pour corriger les erreurs, votre système est peut-être partiellement corrompu. Nous vous recommandons d'installer Restoro, un outil capable d'analyser votre machine et de déterminer où se situe le problème.
Cliquez ici pour télécharger et commencer la réparation.

Ainsi, lorsque vous effectuez une comparaison de vitesse entre TPU et GPU, les chances sont en faveur de l'unité de traitement Tensor.

Performances TPU vs GPU

Le TPU est une machine de traitement tensoriel conçue pour accélérer les calculs de graphiques Tensorflow.

Chaque TPU offre jusqu'à 64 Go de mémoire à large bande passante et 180 téraflops de performances en virgule flottante sur une seule carte.

La comparaison entre le GPU Nvidia et le TPU est présentée ci-dessous. L'axe Y représente le nombre de photos par seconde, tandis que l'axe X représente les différents modèles.

Apprentissage automatique TPU vs GPU

Voici les temps de formation pour le CPU et le GPU utilisant différentes tailles de lots et itérations par époque :

• Nombre d'itérations/époques : 100, Taille du lot : 1000, Époques totales : 25, Paramètres : 1,84 M, Type de modèle : Keras Mobilenet V1 (alpha 0,75).

30 72

Accélérateur	GPU (NVIDIA K80)	Polyuréthane thermoplastique
Précision d'entraînement (%)	96.5	94.1
Précision de la vérification (%)	65,1	68,6
Durée par itération (ms)	69	173
Durée totale (minutes)
	Itérations/époque : 1000, Taille du lot : 100, Époques totales : 25, Paramètres : 1,84 M et Type de modèle : Keras Mobilenet V1 (alpha 0,75)

Accélérateur

• GPU (NVIDIA K80)

Polyuréthane thermoplastique

Précision d'entraînement (%)97,496,9Précision de validation (%)45,245,3 pour chaque itération Temps (ms) 185 252Temps par époque(s)1825Temps total (minutes) 1621

Comme le montre le temps de formation, le TPU nécessite un temps de formation plus long avec des lots de plus petite taille. Cependant, à mesure que la taille du lot augmente, les performances du TPU se rapprochent de celles du GPU.

Ainsi, lorsque l'on effectue une comparaison d'entraînement TPU vs GPU, cela dépend en grande partie des époques et de la taille des lots.

TPU vs. GPU Benchmarks

Avec 0,5 Watts/TOPS, un seul Edge TPU peut effectuer 4 000 milliards d'opérations par seconde. Plusieurs variables affectent la façon dont cela se traduit par les performances des applications.

Les modèles de réseaux neuronaux ont des exigences différentes et la sortie globale dépend de la vitesse USB hôte du périphérique accélérateur USB, du processeur et d'autres ressources système.

Dans cette optique, le graphique ci-dessous compare le temps nécessaire pour effectuer une seule inférence sur l'Edge TPU à l'aide de différents modèles standards. Bien entendu, à titre de comparaison, tous les modèles exécutés sont des versions TensorFlow Lite.

Veuillez noter que les données fournies ci-dessus indiquent le temps requis pour exécuter le modèle. Cependant, il n'inclut pas le temps nécessaire au traitement des données d'entrée, qui varie selon l'application et le système.

Comparez les résultats des tests de performances GPU aux paramètres et résolutions de qualité de jeu attendus par l'utilisateur.

Sur la base de l'évaluation de plus de 70 000 benchmarks, nous avons soigneusement construit des algorithmes sophistiqués pour générer des estimations fiables à 90 % des performances de jeu.

Bien que les performances des cartes graphiques varient d'un jeu à l'autre, le tableau comparatif ci-dessous donne un large indice de notation pour certaines cartes graphiques.

TPU vs GPU Price

Ils ont une grande différence de prix. Les TPU coûtent cinq fois plus cher que les GPU. Voici quelques exemples :

• Nvidia Tesla P100 GPU 1,46 $ par heure
• Google TPU v3 8,00 $ par heure
• Avec GCP TPUv2 avec accès à la demande 4,50 $ par heure

Si l'optimisation des coûts est votre objectif, vous ne devriez choisir un TPU que s'il peut entraîner un modèle 5 fois plus rapidement qu'un GPU.

Quelle est la différence entre CPU, GPU et TPU ?

La différence entre le TPU, le GPU et le CPU est que le CPU est un processeur à usage non spécifique qui gère tous les calculs, la logique, les entrées et les sorties de l'ordinateur.

D'autre part, le GPU est un processeur supplémentaire utilisé pour améliorer l'interface graphique (GI) et réaliser des activités haut de gamme. Les TPU sont de puissants processeurs spécialement conçus pour exécuter des projets développés à l'aide de frameworks spécifiques tels que TensorFlow.

Nous les catégorisons comme suit :

• Unité centrale de traitement (CPU) – Contrôle tous les aspects de l'ordinateur
• Unité de traitement graphique (GPU) – Améliorez les performances graphiques de votre ordinateur
• Tensor Processing Unit (TPU) – ASIC conçu spécifiquement pour les projets TensorFlow #
Nvidia fabrique-t-il du TPU ?

Beaucoup de gens se sont demandé comment NVIDIA réagirait aux TPU de Google, mais nous avons désormais la réponse.

Plutôt que de s'inquiéter, NVIDIA a réussi à repositionner les TPU en tant qu'outils pouvant être utilisés lorsque cela a du sens, tout en gardant son logiciel CUDA et ses GPU à l'avant-garde.

Il maintient le point de contrôle pour l'adoption de l'apprentissage automatique de l'IoT en rendant la technologie open source. Le danger de cette approche, cependant, est qu'elle pourrait donner naissance à un concept qui pourrait remettre en question les objectifs à long terme de NVIDIA en matière de moteurs d'inférence pour les centres de données.

Le GPU ou le TPU sont-ils meilleurs ?

En conclusion, nous devons dire que même si le développement d'algorithmes capables d'utiliser efficacement les TPU entraîne des coûts supplémentaires, les coûts de formation réduits dépassent généralement les dépenses de programmation supplémentaires.

D'autres raisons de choisir un TPU incluent le fait que la v3-128 8 a ​​plus de Go de mémoire vidéo que les GPU Nvidia, ce qui fait de la v3-8 un meilleur choix pour le traitement de grands ensembles de données liés à NLU et NLP.

Une vitesse plus élevée peut également conduire à des itérations plus rapides dans le cycle de développement, conduisant à une innovation plus rapide et plus fréquente, augmentant ainsi les chances de succès sur le marché.

Les TPU surpassent les GPU en termes de rapidité d'innovation, de facilité d'utilisation et de prix abordable ; les consommateurs et les architectes cloud devraient envisager les TPU dans leurs plans de ML et d'IA.

Le TPU de Google dispose d'une puissance de traitement suffisante pour que les utilisateurs doivent coordonner la saisie des données afin de garantir qu'elles ne sont pas surchargées.

Avec lui, comparaison totale TPU vs GPU. Nous aimerions connaître votre avis, voir si vous avez effectué des tests et quels résultats vous avez obtenus sur le TPU et le GPU.

N'oubliez pas que vous pouvez profiter d'une expérience PC immersive avec l'une des meilleures cartes graphiques pour Windows 11.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!