ScalewayAller à la connexionAller au contenu principalAller au pied de page

ai-PULSE 2024 white paper - discover the insights!

Affinez des modèles tels que LLaMA 2

Optimisez les Transformers Models et les LLM à travers un traitement efficace, et accélerez les entraînements de modèles plus importants grâce à la technologie de pointe Tensor Cores de 4ᵉ génération et au dernier format de données 8 bits.

Accélérez jusqu'à 30 fois le traitement de l'inférence

Augmentez la vitesse de traitement de vos modèles grâce au Transformer Engine, 30 fois plus rapide pour l'inférence de l'IA et les nouveaux formats de données.

Optimisez la capacité des GPU en fonction de vos besoins

Grâce à la deuxième génération de Secure MIG (GPU multi-instances), vous pouvez partitionner le GPU en instances isolées de taille adéquate afin de maximiser l'utilisation des tâches multi-GPU, des plus petites aux plus grandes.

Innovation verte : 50 % d’énergie en moins, 100 % renouvelable

DC5 PAR2 Paris

DC5 est l'un des centres de données les plus écologiques d'Europe, entièrement alimenté par de l'énergie éolienne et hydraulique renouvelable (certifiée GO), avec un système de refroidissement ultra-efficace utilisant la ventilation directe et le refroidissement adiabatique. Avec un PUE de 1,16 (vs. 1,55 en moyenne dans l'industrie), il réduit la consommation d'énergie de 30 à 50 % par rapport aux centres de données traditionnels.

En savoir plus

WAW2 Varsovie

WAW2 est alimenté à 100 % par de l'énergie éolienne (certifiée GO) et utilise une combinaison de refroidissement direct, de free chilling, de systèmes d'immersion et de climatisation pour optimiser le refroidissement des systèmes. Avec un PUE de 1,32 — inférieur à la moyenne du secteur — il minimise la consommation d'énergie pour une efficacité maximale.

GPU H100 PCIe spécifications techniques

  • gpu

    GPU

    NVIDIA H100 PCIe Tensor Core

  • memory

    Mémoire GPU

    80 Go HBM2e

  • processor

    Processeur

    24 vCPU AMD Epyc Zen 4

  • processor_frequency

    Fréquence du processeur

    2,7 Ghz

  • memory

    Mémoire

    240 Go de RAM

  • memory_type

    Type de mémoire

    DDR5

  • bandwidth

    Bande passante

    10 Gbps

  • storage

    Stockage

    Block Storage pour le démarrage et 3 To de stockage Scratch NVMe

De nombreux cas d’usages

Natural Language Processing

Comprend, interprète et génère du langage humain de manière à le rendre compréhensible et pertinent en fonction du contexte.
Grâce à des modèles et des algorithmes spécialisés dans :

  • Text classification ;
  • Machine translation ;
  • Entailment prediction ;
  • Named entity recognition ;
  • Sequence-to-sequence, like BERT for text extraction ;
  • Text similarity search, like BERT to find semantic similarities ;
  • Language modeling.

Estimer le coût du GPU

Choisissez votre forfait

Sélectionner...
Sélectionner...
GB

Min. 10 GB

Si vous choisissez une Instance dotée d’une adresse IPv4, il vous faudra une IP flexible. Décochez cette option si vous en avez déjà une sur votre compte ou si vous n’avez pas besoin d’une IPv4.

Estimated cost

OptionValuePrice
ZoneParis 2
Instance1x0€
Volume10GB0€
IPv4 flexibleOui0.004€
Total
À la journée0
À la semaine0
Au mois0

Choisissez votre format de GPU

Nom de l'instanceNombre de GPUTFLOP en FP16 Tensor CoresVRAMPrix jusqu'au 30 juinPrix à partir du 1 juillet
H100-1-80G1 H100 PCIe Tensor CoreJusqu'à 1513 teraFLOP80 Go2,52€/heure2,73€/heure
H100-2-80G2 H100 PCIe Tensor CoreJusqu'à 3026 teraFLOP2 x 80 Go5,04€/heure5,46€/heure

Profitez de la simplicité d'un environnement IA préconfiguré

Optimisez le système d'exploitation de vos GPU

Bénéficiez d'une image Ubuntu prête à l'emploi pour lancer vos conteneurs d'apprentissage profond préférés (pilote NVIDIA préinstallé et environnement Docker).

En savoir plus

Profitez de votre environnement Jupyter préféré

Lancez facilement votre JupyterLab ou Notebook préféré grâce à l'environnement Docker préinstallé.

En savoir plus

Choisissez vos AI containers parmi plusieurs registres

Accédez à plusieurs registres de conteneurs : vos propres conteneurs compilés, les conteneurs IA de Scaleway, le registre NVIDIA NGC et tout autre registre.

En savoir plus

Les logiciels NVIDIA Enterprise AI à votre disposition

Accédez à des centaines de logiciels IA optimisés par Nvidia pour maximiser l'efficacité de vos GPU et augmenter votre productivité. Parmi les centaines de logiciels développés par NVIDIA et testés par des leaders de leur industrie, tirez parti de

  • NVIDIA Nemo pour le réglage fin des LLM,
  • NVIDIA TAO pour la vision par ordinateur,
  • NVIDIA TRITON pour l'inférence.
En savoir plus

Déployez et mettez à l'échelle votre infrastructure avec Kubernetes

H100-GPU-Instances-Schema-1040px-Dark.webp

Foire aux questions

Qu'est-ce qui est inclus dans le prix de l'instance ?

1,9 To de Scratch Storage sont inclus dans le prix de l'instance, mais tout volume de stockage Block Storage, que vous provisionnez, est à votre charge. Pour des raisons de redondance et donc de sécurité, nous vous recommandons vivement de provisionner un volume de Block Storage supplémentaire, car le stockage Scratch est un stockage éphémère qui disparaît lorsque vous éteignez la machine. Le Scratch Storage a pour but d'accélérer le transfert de vos ensembles de données vers la GPU.
Comment utiliser Scratch Storage dans ce cas? Suivez le guide !

Quelle est la différence entre H100-1-80G et H100-2-80G ?

Ce sont deux formats de la même instance intégrant la NVIDIA H100 PCIe Tensor Core.

H100-1-80G intègre 1 GPU NVIDIA H100 PCIe Tensor Core, offrant une mémoire GPU de 80 Go.
H100-2-80G intègre 2 GPU NVIDIA H100 PCIe Tensor Core, offrant une mémoire GPU de 2 fois 80 Go, soit un total de 160 Go. Cette instance permet d'accélérer la formation de modèles Transformers plus grands qui exploitent 2 GPU à la fois. Grâce au facteur de forme PCIe, les serveurs de l'instance H100 PCIe GPU sont équipés de 2 GPU. En lançant un format d'instance H100-2-80G, l'utilisateur bénéficie d'un serveur entièrement dédié avec 2 GPU.

Quel est l'impact environnemental de l'instance H100 PCIe ?

NVIDIA a annoncé l'H100 pour permettre aux entreprises de réduire les coûts de déploiement de l'IA, _"offrant les mêmes performances IA avec une efficacité énergétique 3,5 fois supérieure et un coût total de possession 3 fois inférieur, tout en utilisant 5 fois moins de nœuds de serveur par rapport à la génération précédente."
_
Qu'est-ce qui dans le produit peut confirmer cette annonce ?

La gravure plus fine de la puce réduit la surface et donc l'énergie nécessaire pour alimenter la puce.
Grâce à des innovations comme le nouveau format de données FP8 (8 bits), davantage de calculs sont effectués avec la même quantité de consommation, ce qui permet une optimisation du temps et de l'énergie.
De plus, chez Scaleway, nous avons décidé de localiser nos instances H100 PCIe dans le datacenter adiabatique DC5. Avec un PUE (efficacité d'utilisation de l'énergie) de 1,15 (alors que la moyenne est généralement de 1,6), ce datacenter permet d'économiser entre 30 % et 50 % d'électricité par rapport à un centre de données conventionnel.

Comment puis-je utiliser MIG pour tirer le meilleur parti de ma GPU ?

NVIDIA Multi-Instance GPU (MIG) est une technologie introduite par NVIDIA pour améliorer l'utilisation et la flexibilité des GPU, spécialement conçue pour la virtualisation et les environnements multi-tenants. Elle permet à un seul GPU physique d'être divisé en sept instances plus petites, chacune fonctionnant comme une partition MIG indépendante avec ses propres ressources dédiées, telles que la mémoire, les cœurs de calcul et les sorties vidéo.
Lisez la documentation dédiée pour utiliser la technologie MIG sur votre instance GPU.

Comment choisir la bonne GPU pour ma charge de travail ?

De nombreux critères doivent être pris en compte pour choisir la bonne instance GPU :

  • Exigences de la charge de travail ;
  • Exigences en matière de performances ;
  • Type de GPU ;
  • Mémoire du GPU ;
  • CPU et RAM ;
  • Compatibilité des drivers de GPU et des logiciels ;
  • Capacité de mise à l'échelle.

Pour plus d'informations, consultez la documentation dédiée à ce sujet.