Maximisez les performances de vos applications d’IA avec les instances H100, embarquant jusqu’à 8 GPU par instance.
Vous avez déjà atteint les limites de votre GPU en testant un nouveau modèle d’IA ? Les instances H100 SXM utilisent la technologie d’interconnexion NVLink, qui accélère la communication entre GPU. Les benchmarks montrent jusqu’à 30 % de performances de calcul en plus par rapport aux architectures traditionnelles.
Augmentez la vitesse de traitement de vos modèles grâce au Transformer Engine, 30 fois plus rapide pour l'inférence de l'IA et les nouveaux formats de données.
Avec 1, 2 ou 8 GPU H100 par instance, ajustez vos ressources à vos besoins. La 2e génération de Secure MIG (GPU multi-instances) permet de partitionner chaque GPU en instances isolées, pour une utilisation optimale, quel que soit le volume de vos charges.
| Caractéristiques | H100 PCIe | H100 SXM NOUVEAU |
|---|---|---|
| GPU | NVIDIA H100 PCIe Tensor Core | NVIDIA H100 Tensor Core |
| Mémoire GPU | jusqu’à 2 x 80 Go HBM2e | jusqu’à 8 x 80 Go HBM3 |
| Processeur | jusqu’à 48 vCPU AMD Epyc Zen 4 | jusqu’à 128 vCPU Xeon Platinum 8452Y |
| Fréquence du processeur | 2,7 GHz | 2 GHz |
| Mémoire vive | jusqu’à 480 Go de RAM | jusqu’à 960 Go de RAM |
| Type de mémoire | DDR5 | DDR5 |
| Bande passante | jusqu’à 20 Gbps | jusqu’à 20 Gbps |
| Stockage | Block Storage (démarrage) et jusqu’à 6 To de stockage NVMe | Block Storage (démarrage) et jusqu’à 12.8 To de stockage NVMe |
Réservez votre instance GPU H100 en toute sécurité pour plusieurs mois ou années.
| Option | Value | Price |
|---|---|---|
| Zone | Paris 2 | |
| Instance | 1x | 0€ |
| Volume | 10GB | 0€ |
| IPv4 flexible | Oui | 0.004€ |
| Total | |
|---|---|
| À l'heure | 0€ |
| À la journée | 0€ |
| À la semaine | 0€ |
| Au mois | 0€ |
DC5 est l'un des centres de données les plus écologiques d'Europe, entièrement alimenté par de l'énergie éolienne et hydraulique renouvelable (certifiée GO), avec un système de refroidissement ultra-efficace utilisant la ventilation directe et le refroidissement adiabatique. Avec un PUE de 1,16 (vs. 1,55 en moyenne dans l'industrie), il réduit la consommation d'énergie de 30 à 50 % par rapport aux centres de données traditionnels.
WAW2 est alimenté à 100 % par de l'énergie éolienne (certifiée GO) et utilise une combinaison de refroidissement direct, de free chilling, de systèmes d'immersion et de climatisation pour optimiser le refroidissement des systèmes. Avec un PUE de 1,32 — inférieur à la moyenne du secteur — il minimise la consommation d'énergie pour une efficacité maximale.
"La différence d’exécution est de 40 % en faveur des GPU H100 PCIe"
Les spécialistes de l’IA souveraine de Golem.ai ont réalisé une analyse technique approfondie du sujet et partagé leurs conclusions sur notre blog.
« Après avoir effectué une centaine de tests entre Replicate.com et les H100 de Nvidia hébergés par Scaleway, nous concluons que la différence d’exécution est de 40 % en faveur des H100 », explique Kevin Baude de Golem.ai.
Comprend, interprète et génère du langage humain de manière à le rendre compréhensible et pertinent en fonction du contexte.
Grâce à des modèles et des algorithmes spécialisés dans :
Convertir le langage parlé en texte écrit, faciliter la traduction des communications verbales en données lisibles par des machines.
Grâce à des modèles et des algorithmes spécialisés dans :
Génère de nouveaux contenus, tels que des images, du texte, de l'audio et du code. Produisant de manière autonome de nouveaux contenus cohérents, étendant le domaine de contenus générés par l'IA au-delà de la simple réplication ou prédiction.
Avec des modèles et des algorithmes spécialisés dans :
Permettre aux machines d'interpréter et de comprendre les informations visuelles provenant du monde entier, à l'instar de la vision humaine.
Grâce à des modèles et des algorithmes spécialisés dans :
Prédit et suggère aux utilisateurs des articles qui les intéressent en fonction de leurs préférences et de leurs comportements, ce qui permet d'améliorer les recommandations personnalisées et la prise de décision dans diverses applications.
En utilisant, par exemple, le modèle de recommandation Deep Learning Recommendation Model v2 (DLRMv2) qui utilise la couche croisée DCNv2 et un ensemble de données multi-hot synthétisé à partir de l'ensemble de données Criteo.
| Nom de l’instance | Nombre de GPU | TFLOPs FP16 Tensor Cores | VRAM | Tarifs |
|---|---|---|---|---|
| H100-1-80GB | 1 H100 PCIe Tensor Core | Jusqu’à 1 513 teraFLOPS | 80 Go | 2,73 €/heure |
| H100-2-80G | 2 H100 PCIe Tensor Core | Jusqu’à 3 026 teraFLOPS | 2 x 80 Go | 5,46 €/heure |
| H100-SXM-2-80G/bientôt disponible | 2 H100 Tensor Core | Jusqu’à 3 958 teraFLOPS | 2 x 80 Go | 6,018 €/heure |
| H100-SXM-4-80G/bientôt disponible | 4 H100 Tensor Core | Jusqu’à 7 916 teraFLOPS | 4 x 80 Go | 11,61 €/heure |
| H100-SXM-8-80G/NOUVEAU | 8 H100 Tensor Core | Jusqu’à 15 832 teraFLOPS | 8 x 80 Go | 23,028 €/heure |
Bénéficiez d'une image Ubuntu prête à l'emploi pour lancer vos conteneurs d'apprentissage profond préférés (pilote NVIDIA préinstallé et environnement Docker).
Lancez facilement votre JupyterLab ou Notebook préféré grâce à l'environnement Docker préinstallé.
Accédez à plusieurs registres de conteneurs : vos propres conteneurs compilés, les conteneurs IA de Scaleway, le registre NVIDIA NGC et tout autre registre.
Accédez à des centaines de logiciels IA optimisés par Nvidia pour maximiser l'efficacité de vos GPU et augmenter votre productivité. Parmi les centaines de logiciels développés par NVIDIA et testés par des leaders de leur industrie, tirez parti de
1,9 To de Scratch Storage sont inclus dans le prix de l'instance, mais tout volume de stockage Block Storage, que vous provisionnez, est à votre charge. Pour des raisons de redondance et donc de sécurité, nous vous recommandons vivement de provisionner un volume de Block Storage supplémentaire, car le stockage Scratch est un stockage éphémère qui disparaît lorsque vous éteignez la machine. Le Scratch Storage a pour but d'accélérer le transfert de vos ensembles de données vers la GPU.
Comment utiliser Scratch Storage dans ce cas? Suivez le guide !
Ce sont deux formats de la même instance intégrant la NVIDIA H100 PCIe Tensor Core.
H100-1-80G intègre 1 GPU NVIDIA H100 PCIe Tensor Core, offrant une mémoire GPU de 80 Go.
H100-2-80G intègre 2 GPU NVIDIA H100 PCIe Tensor Core, offrant une mémoire GPU de 2 fois 80 Go, soit un total de 160 Go. Cette instance permet d'accélérer la formation de modèles Transformers plus grands qui exploitent 2 GPU à la fois. Grâce au facteur de forme PCIe, les serveurs de l'instance H100 PCIe GPU sont équipés de 2 GPU. En lançant un format d'instance H100-2-80G, l'utilisateur bénéficie d'un serveur entièrement dédié avec 2 GPU.
NVIDIA a annoncé l'H100 pour permettre aux entreprises de réduire les coûts de déploiement de l'IA, _"offrant les mêmes performances IA avec une efficacité énergétique 3,5 fois supérieure et un coût total de possession 3 fois inférieur, tout en utilisant 5 fois moins de nœuds de serveur par rapport à la génération précédente."
_
Qu'est-ce qui dans le produit peut confirmer cette annonce ?
La gravure plus fine de la puce réduit la surface et donc l'énergie nécessaire pour alimenter la puce.
Grâce à des innovations comme le nouveau format de données FP8 (8 bits), davantage de calculs sont effectués avec la même quantité de consommation, ce qui permet une optimisation du temps et de l'énergie.
De plus, chez Scaleway, nous avons décidé de localiser nos instances H100 PCIe dans le datacenter adiabatique DC5. Avec un PUE (efficacité d'utilisation de l'énergie) de 1,15 (alors que la moyenne est généralement de 1,6), ce datacenter permet d'économiser entre 30 % et 50 % d'électricité par rapport à un centre de données conventionnel.
NVIDIA Multi-Instance GPU (MIG) est une technologie introduite par NVIDIA pour améliorer l'utilisation et la flexibilité des GPU, spécialement conçue pour la virtualisation et les environnements multi-tenants. Elle permet à un seul GPU physique d'être divisé en sept instances plus petites, chacune fonctionnant comme une partition MIG indépendante avec ses propres ressources dédiées, telles que la mémoire, les cœurs de calcul et les sorties vidéo.
Lisez la documentation dédiée pour utiliser la technologie MIG sur votre instance GPU.
De nombreux critères doivent être pris en compte pour choisir la bonne instance GPU :
Pour plus d'informations, consultez la documentation dédiée à ce sujet.
NVIDIA NVLink est une technologie d’interconnexion haute vitesse développée par NVIDIA, permettant des transferts de données beaucoup plus rapides entre les GPU, ainsi qu’entre les GPU et les CPU.
Elle est conçue pour augmenter considérablement la bande passante et réduire la latence des transferts par rapport aux connexions PCIe (Peripheral Component Interconnect Express) traditionnelles.
Cette technologie est particulièrement utile dans les environnements de calcul haute performance (HPC) et les centres de données, où plusieurs GPU sont utilisés en parallèle pour accélérer les traitements.
NVLink permet une meilleure scalabilité et une plus grande efficacité dans les domaines comme le deep learning, les simulations scientifiques ou toute autre application nécessitant une grande intensité de données, en offrant un moyen plus performant de partager les données et les charges de travail entre les GPU.
