Intel Gaudi 3 : portrait de cet ac­cé­lé­ra­teur d’IA

L’Intel Gaudi 3 est un ac­cé­lé­ra­teur d’IA puissant, spé­cia­le­ment conçu pour les charges de travail d’IA exi­geantes. Il est gravé en 5 na­no­mètres selon un procédé avancé, dispose de 64 Tensor Cores et offre deux fois plus de puissance FP8 et quatre fois plus en calculs IA intensifs que son pré­dé­ces­seur. Le Gaudi 3 d’Intel est donc par­fai­te­ment adapté aux tâches d’inférence et à l’en­traî­ne­ment de grands modèles d’IA.

Quelles sont les per­for­mances de l’Intel Gaudi 3 ?

Avec le Gaudi 3, Intel pose de nouveaux jalons en matière de per­for­mance et d’ef­fi­ca­cité éner­gé­tique. L’ac­cé­lé­ra­teur d’IA repose sur une ar­chi­tec­ture dérivée du Gaudi 2, mais offre une puissance de calcul nettement plus élevée, une bande passante mémoire plus grande et une meilleure ef­fi­ca­cité éner­gé­tique. L’aperçu ci-dessous résume les prin­ci­pales ca­rac­té­ris­tiques de per­for­mance de l’Intel Gaudi 3 :

• Puissance de calcul FP8 : le Gaudi 3 atteint une puissance de calcul FP8 de 1,835 PFLOPS. Son pré­dé­ces­seur at­teig­nait un peu plus de 0,8 PFLOPS, ainsi, la puissance de calcul FP8 a plus que doublé.
• Puissance de calcul BF16 : pour les calculs BF16, l’Intel Gaudi 3 atteint également 1,835 PFLOPS. Sa puissance a quadruplé par rapport au Gaudi 2.
• Bande passante du réseau : la bande passante réseau bi­di­rec­tion­nelle a été doublée pour atteindre 1200 Go/s, ce qui permet une com­mu­ni­ca­tion plus rapide entre les nœuds des systèmes en cluster IA.
• Capacité et bande passante HBM : avec sa mémoire HBM de 128 Go, le Gaudi 3 offre 50 % de bande passante mémoire en plus que la gé­né­ra­tion pré­cé­dente. La bande passante HBM atteint 3,7 To/s, soit une hausse de 33 %.

L’Intel Gaudi 3 dispose de deux Compute Dies (unités de calcul spéciales) qui con­tien­nent 64 cœurs de pro­ces­seur Tensor et 8 MME (Matrix Mul­ti­pli­ca­tion Engines, pour le trai­te­ment parallèle). Les 24 ports NIC RDMA de 200 Go/s chacun assurent une com­mu­ni­ca­tion rapide sur les réseaux Ethernet stan­dar­di­sés.

Avantages et in­con­vé­nients de l’Intel Gaudi 3

Le recours à un ac­cé­lé­ra­teur d’IA de la gé­né­ra­tion Gaudi 3 présente dif­fé­rents avantages, parmi lesquels :

• Une grande puissance de calcul : avec sa puissance de 1,835 PFLOPS FP8 et BF16, l’Intel Gaudi 3 offre une capacité de trai­te­ment élevée, similaire au niveau de per­for­mance du NVIDIA H100, nettement plus cher. Selon un com­mu­ni­qué de presse d’Intel, cet ac­cé­lé­ra­teur d’IA maison surpasse dans certains cas même le modèle phare de NVIDIA en termes de per­for­mances dans certains domaines.
• Haute ef­fi­ca­cité éner­gé­tique : la fa­bri­ca­tion de l’ac­cé­lé­ra­teur d’IA Gaudi 3 se fait en 5 na­no­mètres (par TSMC), ce qui permet une densité de puissance plus élevée. Cela réduit la con­som­ma­tion d’énergie et diminue les coûts d’ex­ploi­ta­tion dans les data centers.
• Évo­lu­ti­vité de l’IA à moindre coût : avec l’Intel Gaudi 3, les systèmes peuvent être mis à l’échelle ver­ti­ca­le­ment et ho­ri­zon­ta­le­ment de manière flexible, ce qui s’avère par­ti­cu­liè­re­ment avan­ta­geux pour les dé­ploie­ments complexes.
• Prise en charge de normes ouvertes : comme le Gaudi 3 prend en charge les normes ouvertes, les ac­cé­lé­ra­teurs d’IA peuvent être intégrés de manière flexible dans les in­fras­truc­tures in­for­ma­tiques exis­tantes. Les en­tre­prises sont ainsi plus in­dé­pen­dantes dans le choix de leurs pla­te­formes IA.

Les ac­cé­lé­ra­teurs d’IA pré­sen­tent toutefois aussi des in­con­vé­nients notables. Bien que l’Intel Gaudi 3 propose des per­for­mances de premier ordre, les puces haut de gamme NVIDIA offrent des per­for­mances globales encore plus élevées. En quoi est-ce important ? Notamment parce que les en­tre­prises actives dans le domaine de l’IA ont jusqu’à présent plutôt opté pour la solution la plus per­for­mante et non la plus rentable. Ainsi, le Gaudi 3 d’Intel est moins répandu que les ac­cé­lé­ra­teurs d’IA de NVIDIA, dont l’éco­sys­tème bénéficie d’une prise en charge étendue par les équipes de dé­ve­lop­pe­ment d’in­tel­li­gence ar­ti­fi­cielle.

À quels domaines l’Intel Gaudi 3 est-il le mieux adapté ?

L’Intel Gaudi 3 a été spé­cia­le­ment conçu pour les charges de travail IA à forte intensité de calcul et convient surtout aux tâches d’inférence qui né­ces­si­tent un trai­te­ment parallèle et une bande passante mémoire élevés. Les charges de travail typiques sont par exemple la création de texte avec les Large Language Models (LLMs), la gé­né­ra­tion d’images et la synthèse vocale. Grâce à sa vitesse d’inférence élevée et à son ar­chi­tec­ture FP8 optimisée, Gaudi 3 permet un trai­te­ment per­for­mant et peu gourmand en énergie des modèles d’IA gé­né­ra­tifs. Mais il existe encore d’autres domaines d’ap­pli­ca­tion. Il s’agit notamment de :

• L’en­traî­ne­ment de base de grands modèles d’IA : Gaudi 3 permet de traiter ef­fi­ca­ce­ment de grands ensembles de données. Ces ac­cé­lé­ra­teurs d’IA sont donc par­fai­te­ment adaptés à l’en­traî­ne­ment de base des modèles d’IA, tels que les réseaux neuronaux pour le Machine Learning ou les modèles de trans­for­ma­teurs tels que GPT et LLaMA.
• Trai­te­ment d’images et vision par or­di­na­teur : grâce à sa grande puissance de calcul, l’Intel Gaudi 3 est en mesure de traiter des données d’images complexes en temps réel. L’ac­cé­lé­ra­teur d’IA est donc également adapté aux ap­pli­ca­tions telles que la vi­déo­sur­veil­lance dans la sécurité ou l’au­to­ma­ti­sa­tion in­dus­trielle.
• Serveurs GPU et clusters IA dans les data centers : l’Intel Gaudi 3 peut être utilisé pour les serveurs GPU afin de fournir la puissance de calcul né­ces­saire à l’en­traî­ne­ment à l’IA et aux tâches d’inférence.

Quelles sont les al­ter­na­tives à l’Intel Gaudi 3 ?

Il existe plusieurs ac­cé­lé­ra­teurs d’IA qui peuvent être con­si­dé­rés comme des al­ter­na­tives à l’Intel Gaudi 3. Parmi les options et les produits con­cur­rents les plus connus figure le NVIDIA H100. Alors que l’ac­cé­lé­ra­teur d’Intel est optimal pour les ap­pli­ca­tions d’inférence, le H100 offre des per­for­mances haut de gamme pour l’IA et l’analyse de données. Une autre al­ter­na­tive est le NVIDIA A30, qui combine un niveau de per­for­mance élevé avec un prix abordable.