NVIDIA a annoncé l'H100 pour permettre aux entreprises de réduire les coûts de déploiement de l'IA, _"offrant les mêmes performances IA avec une efficacité énergétique 3,5 fois supérieure et un coût total de possession 3 fois inférieur, tout en utilisant 5 fois moins de nœuds de serveur par rapport à la génération précédente."
_
Qu'est-ce qui dans le produit peut confirmer cette annonce ?
La gravure plus fine de la puce réduit la surface et donc l'énergie nécessaire pour alimenter la puce.
Grâce à des innovations comme le nouveau format de données FP8 (8 bits), davantage de calculs sont effectués avec la même quantité de consommation, ce qui permet une optimisation du temps et de l'énergie.
De plus, chez Scaleway, nous avons décidé de localiser nos instances H100 PCIe dans le datacenter adiabatique DC5. Avec un PUE (efficacité d'utilisation de l'énergie) de 1,15 (alors que la moyenne est généralement de 1,6), ce datacenter permet d'économiser entre 30 % et 50 % d'électricité par rapport à un centre de données conventionnel.