H100 PCIe GPU instance

1,9 To de Scratch Storage sont inclus dans le prix de l'instance, mais tout volume de stockage Block Storage, que vous provisionnez, est à votre charge. Pour des raisons de redondance et donc de sécurité, nous vous recommandons vivement de provisionner un volume de Block Storage supplémentaire, car le stockage Scratch est un stockage éphémère qui disparaît lorsque vous éteignez la machine. Le Scratch Storage a pour but d'accélérer le transfert de vos ensembles de données vers la GPU.
Comment utiliser Scratch Storage dans ce cas? Suivez le guide !

Ce sont deux formats de la même instance intégrant la NVIDIA H100 PCIe Tensor Core.

H100-1-80G intègre 1 GPU NVIDIA H100 PCIe Tensor Core, offrant une mémoire GPU de 80 Go.
H100-2-80G intègre 2 GPU NVIDIA H100 PCIe Tensor Core, offrant une mémoire GPU de 2 fois 80 Go, soit un total de 160 Go. Cette instance permet d'accélérer la formation de modèles Transformers plus grands qui exploitent 2 GPU à la fois. Grâce au facteur de forme PCIe, les serveurs de l'instance H100 PCIe GPU sont équipés de 2 GPU. En lançant un format d'instance H100-2-80G, l'utilisateur bénéficie d'un serveur entièrement dédié avec 2 GPU.

NVIDIA a annoncé l'H100 pour permettre aux entreprises de réduire les coûts de déploiement de l'IA, "offrant les mêmes performances IA avec une efficacité énergétique 3,5 fois supérieure et un coût total de possession 3 fois inférieur, tout en utilisant 5 fois moins de nœuds de serveur par rapport à la génération précédente."
Qu'est-ce qui dans le produit peut confirmer cette annonce ?

La gravure plus fine de la puce réduit la surface et donc l'énergie nécessaire pour alimenter la puce.
Grâce à des innovations comme le nouveau format de données FP8 (8 bits), davantage de calculs sont effectués avec la même quantité de consommation, ce qui permet une optimisation du temps et de l'énergie.
De plus, chez Scaleway, nous avons décidé de localiser nos instances H100 PCIe dans le datacenter adiabatique DC5. Avec un PUE (efficacité d'utilisation de l'énergie) de 1,15 (alors que la moyenne est généralement de 1,6), ce datacenter permet d'économiser entre 30 % et 50 % d'électricité par rapport à un centre de données conventionnel.

NVIDIA Multi-Instance GPU (MIG) est une technologie introduite par NVIDIA pour améliorer l'utilisation et la flexibilité des GPU, spécialement conçue pour la virtualisation et les environnements multi-tenants. Elle permet à un seul GPU physique d'être divisé en sept instances plus petites, chacune fonctionnant comme une partition MIG indépendante avec ses propres ressources dédiées, telles que la mémoire, les cœurs de calcul et les sorties vidéo.
Lisez la documentation dédiée pour utiliser la technologie MIG sur votre instance GPU.

De nombreux critères doivent être pris en compte pour choisir la bonne instance GPU :

• Exigences de la charge de travail ;
• Exigences en matière de performances ;
• Type de GPU ;
• Mémoire du GPU ;
• CPU et RAM ;
• Compatibilité des drivers de GPU et des logiciels ;
• Capacité de mise à l'échelle.

Pour plus d'informations, consultez la documentation dédiée à ce sujet.