Intel Gaudi 3 : portrait de cet accélérateur d’IA

L’Intel Gaudi 3 est un accélérateur d’IA puissant, spécialement conçu pour les charges de travail d’IA exigeantes. Il est gravé en 5 nanomètres selon un procédé avancé, dispose de 64 Tensor Cores et offre deux fois plus de puissance FP8 et quatre fois plus en calculs IA intensifs que son prédécesseur. Le Gaudi 3 d’Intel est donc parfaitement adapté aux tâches d’inférence et à l’entraînement de grands modèles d’IA.

Quelles sont les performances de l’Intel Gaudi 3 ?

Avec le Gaudi 3, Intel pose de nouveaux jalons en matière de performance et d’efficacité énergétique. L’accélérateur d’IA repose sur une architecture dérivée du Gaudi 2, mais offre une puissance de calcul nettement plus élevée, une bande passante mémoire plus grande et une meilleure efficacité énergétique. L’aperçu ci-dessous résume les principales caractéristiques de performance de l’Intel Gaudi 3 :

• Puissance de calcul FP8 : le Gaudi 3 atteint une puissance de calcul FP8 de 1,835 PFLOPS. Son prédécesseur atteignait un peu plus de 0,8 PFLOPS, ainsi, la puissance de calcul FP8 a plus que doublé.
• Puissance de calcul BF16 : pour les calculs BF16, l’Intel Gaudi 3 atteint également 1,835 PFLOPS. Sa puissance a quadruplé par rapport au Gaudi 2.
• Bande passante du réseau : la bande passante réseau bidirectionnelle a été doublée pour atteindre 1200 Go/s, ce qui permet une communication plus rapide entre les nœuds des systèmes en cluster IA.
• Capacité et bande passante HBM : avec sa mémoire HBM de 128 Go, le Gaudi 3 offre 50 % de bande passante mémoire en plus que la génération précédente. La bande passante HBM atteint 3,7 To/s, soit une hausse de 33 %.

L’Intel Gaudi 3 dispose de deux Compute Dies (unités de calcul spéciales) qui contiennent 64 cœurs de processeur Tensor et 8 MME (Matrix Multiplication Engines, pour le traitement parallèle). Les 24 ports NIC RDMA de 200 Go/s chacun assurent une communication rapide sur les réseaux Ethernet standardisés.

Avantages et inconvénients de l’Intel Gaudi 3

Le recours à un accélérateur d’IA de la génération Gaudi 3 présente différents avantages, parmi lesquels :

• Une grande puissance de calcul : avec sa puissance de 1,835 PFLOPS FP8 et BF16, l’Intel Gaudi 3 offre une capacité de traitement élevée, similaire au niveau de performance du NVIDIA H100, nettement plus cher. Selon un communiqué de presse d’Intel, cet accélérateur d’IA maison surpasse dans certains cas même le modèle phare de NVIDIA en termes de performances dans certains domaines.
• Haute efficacité énergétique : la fabrication de l’accélérateur d’IA Gaudi 3 se fait en 5 nanomètres (par TSMC), ce qui permet une densité de puissance plus élevée. Cela réduit la consommation d’énergie et diminue les coûts d’exploitation dans les data centers.
• Évolutivité de l’IA à moindre coût : avec l’Intel Gaudi 3, les systèmes peuvent être mis à l’échelle verticalement et horizontalement de manière flexible, ce qui s’avère particulièrement avantageux pour les déploiements complexes.
• Prise en charge de normes ouvertes : comme le Gaudi 3 prend en charge les normes ouvertes, les accélérateurs d’IA peuvent être intégrés de manière flexible dans les infrastructures informatiques existantes. Les entreprises sont ainsi plus indépendantes dans le choix de leurs plateformes IA.

Les accélérateurs d’IA présentent toutefois aussi des inconvénients notables. Bien que l’Intel Gaudi 3 propose des performances de premier ordre, les puces haut de gamme NVIDIA offrent des performances globales encore plus élevées. En quoi est-ce important ? Notamment parce que les entreprises actives dans le domaine de l’IA ont jusqu’à présent plutôt opté pour la solution la plus performante et non la plus rentable. Ainsi, le Gaudi 3 d’Intel est moins répandu que les accélérateurs d’IA de NVIDIA, dont l’écosystème bénéficie d’une prise en charge étendue par les équipes de développement d’intelligence artificielle.

À quels domaines l’Intel Gaudi 3 est-il le mieux adapté ?

L’Intel Gaudi 3 a été spécialement conçu pour les charges de travail IA à forte intensité de calcul et convient surtout aux tâches d’inférence qui nécessitent un traitement parallèle et une bande passante mémoire élevés. Les charges de travail typiques sont par exemple la création de texte avec les Large Language Models (LLMs), la génération d’images et la synthèse vocale. Grâce à sa vitesse d’inférence élevée et à son architecture FP8 optimisée, Gaudi 3 permet un traitement performant et peu gourmand en énergie des modèles d’IA génératifs. Mais il existe encore d’autres domaines d’application. Il s’agit notamment de :

• L’entraînement de base de grands modèles d’IA : Gaudi 3 permet de traiter efficacement de grands ensembles de données. Ces accélérateurs d’IA sont donc parfaitement adaptés à l’entraînement de base des modèles d’IA, tels que les réseaux neuronaux pour le Machine Learning ou les modèles de transformateurs tels que GPT et LLaMA.
• Traitement d’images et vision par ordinateur : grâce à sa grande puissance de calcul, l’Intel Gaudi 3 est en mesure de traiter des données d’images complexes en temps réel. L’accélérateur d’IA est donc également adapté aux applications telles que la vidéosurveillance dans la sécurité ou l’automatisation industrielle.
• Serveurs GPU et clusters IA dans les data centers : l’Intel Gaudi 3 peut être utilisé pour les serveurs GPU afin de fournir la puissance de calcul nécessaire à l’entraînement à l’IA et aux tâches d’inférence.

Quelles sont les alternatives à l’Intel Gaudi 3 ?

Il existe plusieurs accélérateurs d’IA qui peuvent être considérés comme des alternatives à l’Intel Gaudi 3. Parmi les options et les produits concurrents les plus connus figure le NVIDIA H100. Alors que l’accélérateur d’Intel est optimal pour les applications d’inférence, le H100 offre des performances haut de gamme pour l’IA et l’analyse de données. Une autre alternative est le NVIDIA A30, qui combine un niveau de performance élevé avec un prix abordable.