Qu’est-ce qu’un GPU Hopper ?

Les GPU Hopper sont la dernière gé­né­ra­tion de GPU haute per­for­mance de NVIDIA. Spé­cia­le­ment conçus pour l’IA et le HPC, ces GPU per­met­tent de faire évoluer une grande variété de charges de travail. Ils sont basés sur une ar­chi­tec­ture innovante avec de puissants Tensor Cores et combinent plusieurs tech­no­lo­gies de pointe pour maximiser les per­for­mances. Les GPU Hopper de NVIDIA con­vien­nent entre autres à l’inférence IA, au Deep Learning et à l’IA gé­né­ra­tive.

L’ar­chi­tec­ture des GPU Hopper de NVIDIA

L’ap­pel­la­tion « GPU Hopper » provient de l’ar­chi­tec­ture Hopper qui, en tant que mi­croar­chi­tec­ture GPU, constitue la base des GPU haute per­for­mance, optimisée pour les charges de travail IA et les ap­pli­ca­tions HPC. Les GPU Hopper sont fabriqués par TSMC en tech­no­lo­gie 4 na­no­mètres et disposent de quatre-vingts milliards de tran­sis­tors, ce qui en fait les cartes gra­phiques les plus avancées dis­po­nibles sur le marché à l’heure actuelle.

Avec l’ar­chi­tec­ture Hopper, NVIDIA combine la dernière gé­né­ra­tion de Tensor Cores avec cinq in­no­va­tions de pointe : le Trans­for­mer Engine, les systèmes de com­mu­ta­tion NVLink/NVSwitch/NVLink, le Con­fi­den­tial Computing, les GPU multi-instances (MIG) de deuxième gé­né­ra­tion et les ins­truc­tions DPX. Grâce à ces tech­no­lo­gies, les GPU Hopper per­met­tent d’accélérer l’inférence IAjusqu’à trente fois par rapport à la gé­né­ra­tion pré­cé­dente. Cela est basé sur les résultats du chatbot Megatron 530B de NVIDIA, le plus grand modèle de langage génératif au monde.

Les fonc­tion­na­li­tés in­no­vantes des GPU Hopper

Les GPU Hopper sont dotés de plusieurs fonc­tion­na­li­tés inédites qui con­tri­buent à améliorer leurs per­for­mances, ef­fi­ca­cité et évo­lu­ti­vité. Voici les prin­ci­pales nou­veau­tés :

• Trans­for­mer Engine : le Trans­for­mer Engine permet aux GPU Hopper d’entraîner les modèles d’IA jusqu’à neuf fois plus vite. Pour les tâches d’inférence dans le domaine des modèles lin­guis­tiques, les GPU at­teig­nent une ac­cé­lé­ra­tion jusqu’à trente fois su­pé­rieure à celle de la gé­né­ra­tion pré­cé­dente.
• Système de com­mu­ta­tion NVLink : la quatrième gé­né­ra­tion de NVLink fournit une bande passante GPU bi­di­rec­tion­nelle de 900 Go/s, tandis que NVSwitch assure une meilleure évo­lu­ti­vité des clusters H200. Cela garantit un trai­te­ment efficace des modèles IA avec des billions de pa­ra­mètres.
• Con­fi­den­tial Computing : l’ar­chi­tec­ture Hopper garantit la pro­tec­tion de vos données, modèles IA et al­go­rithmes, même pendant le trai­te­ment.
• GPU multi-instance (MIG) 2.0 : la deuxième gé­né­ra­tion de la tech­no­lo­gie MIG permet de diviser un seul GPU Hopper en sept instances isolées maximum. Cela permet à plusieurs personnes de traiter si­mul­ta­né­ment dif­fé­rentes charges de travail sans se nuire mu­tuel­le­ment.
• Ins­truc­tions DPX : les ins­truc­tions DPX per­met­tent de calculer des al­go­rithmes pro­gram­més dy­na­mi­que­ment jusqu’à sept fois plus vite qu’avec les GPU de l’ar­chi­tec­ture Ampere.

Quels sont les cas d’usage des GPU

Les GPU NVIDIA basés sur l’ar­chi­tec­ture Hopper sont conçus pour des charges de travail hautes per­for­mances de dif­fé­rents types. Les prin­ci­paux domaines d’ap­pli­ca­tion des GPU Hopper sont :

• Tâches d’inférence : ces GPU comptent parmi les solutions leaders de l’industrie pour l’uti­li­sa­tion pro­duc­tive de l’inférence IA. Qu’il s’agisse de systèmes de re­com­man­da­tion dans le commerce élec­tro­nique, de diag­nos­tics médicaux ou de pré­dic­tions en temps réel pour la conduite autonome, les GPU Hopper peuvent traiter ra­pi­de­ment et ef­fi­ca­ce­ment d’énormes quantités de données.
• IA gé­né­ra­tive : les GPU haut de gamme four­nis­sent la puissance de calcul né­ces­saire à l’en­traî­ne­ment et à l’exécution d’outils d’IA gé­né­ra­tive. Le trai­te­ment parallèle permet des calculs plus efficaces pour les tâches créatives telles que la gé­né­ra­tion de texte, d’images et de vidéos.
• En­traî­ne­ment en Deep Learning : grâce à leur grande puissance de calcul, les GPU Hopper con­vien­nent par­fai­te­ment à l’en­traî­ne­ment de grands réseaux neuronaux. L’ar­chi­tec­ture Hopper permet de réduire con­si­dé­ra­ble­ment les temps d’en­traî­ne­ment des modèles d’IA.
• IA con­ver­sa­tion­nelle : étant optimisés pour le trai­te­ment du langage naturel (NLP), les GPU Hopper sont idéaux pour les systèmes vocaux basés sur l’IA tels que les as­sis­tants virtuels et les chatbots IA. Ils ac­cé­lè­rent le trai­te­ment de grands modèles d’IA et ga­ran­tis­sent des in­te­rac­tions réactives qui s’intègrent de manière trans­pa­rente dans les processus d’en­tre­prise, comme l’as­sis­tance.
• Analyse de données et Big Data : les GPU Hopper gèrent d’énormes quantités de données à grande vitesse et ac­cé­lè­rent les calculs complexes grâce à un trai­te­ment parallèle massif. Cela permet aux en­tre­prises d’évaluer plus ra­pi­de­ment le Big Data, d’établir des pré­vi­sions et de prendre les mesures adaptées.
• Science et recherche : comme ces GPU sont conçus pour les ap­pli­ca­tions HPC, ils sont par­fai­te­ment adaptés aux si­mu­la­tions et calculs très complexes. Les GPU Hopper sont ainsi utilisés en as­tro­phy­sique, pour la mo­dé­li­sa­tion du climat et en chimie in­for­ma­tique.

Modèles actuels de NVIDIA

Avec le NVIDIA H100 et le NVIDIA H200, l’en­tre­prise amé­ri­caine a déjà lancé deux GPU Hopper sur le marché. Le NVIDIA A30 est quant à lui toujours basé sur l’ar­chi­tec­ture Ampere. Notons que le H200 n’est pas vraiment un modèle in­dé­pen­dant, mais plutôt une évolution du H100. Les dif­fé­rences entre les deux GPU sont les suivantes :

• Mémoire et bande passante : alors que le NVIDIA H100 est équipé d’une mémoire HBM3 de 80 Go, le GPU H200 dispose d’une mémoire HBM3e d’une capacité de 141 Go. En termes de bande passante mémoire, le H200 est nettement en avance avec 4,8 To/s contre 2 To/s pour le H100.
• Per­for­mances pour l’inférence IA : en com­pa­rai­son, le NVIDIA H200 fournit une puissance d’inférence deux fois plus élevée pour des modèles de type LLaMA 2-70 par rapport à sa version pré­cé­dente. Cela permet non seulement un trai­te­ment plus rapide, mais aussi une sca­la­bi­lité efficace.
• Ap­pli­ca­tions HPC et calculs scien­ti­fiques : le H100 offre déjà un niveau de per­for­mance de premier ordre pour les calculs complexes, que le H200 surpasse encore. La vitesse d’inférence est jusqu’à deux fois plus élevée et les per­for­mances HPC sont, elles, environ 20 % su­pé­rieures.