ScalewayAller à la connexionAller au contenu principalAller au pied de page

ai-PULSE 2024 white paper - discover the insights!

Instance GPU L40S

Accélérez la prochaine génération d'applications boostées par l'IA avec l'Instance GPU L40S universelle, plus rapide que la L4 et moins chère que la H100 PCIe.

Un usage universel

L'Instance GPU L40S offre des performances inégalées pour un large éventail de tâches, notamment pour l'intelligence artificielle générative, l'inférence de LLM, l'entraînement et peaufinage de petits modèles, ainsi que pour les applications en 3D, le rendering et la vidéo.

Scalabilité rentable

À partir de 1,4 €/heure pour 1 GPU avec 48 Gb de mémoire GPU et disponible en 4 formats différents (1, 2, 4, 8 GPUs), l'Instance GPU L40S permet une mise à l'échelle rentable en fonction des besoins de charge de travail, garantissant une utilisation optimale des ressources en plus de ses capacités de haute performance.

Compatible avec K8s

Intégrez sans effort l'Instance GPU L40S dans votre infrastructure existante avec le support de Kubernetes, simplifiant le déploiement et la gestion des charges de travail en intelligence artificielle tout en conservant la scalabilité et la flexibilité.

Rejoignez les leaders et ingénieurs pour une conférence technique d'une journée sur les avancées en IA !
Nov 7, 2024 Station F, Paris

Préinscription !

Spécificités techniques

  • gpu

    GPU

    NVIDIA GPU L40S

  • gpu_memory

    Mémoire GPU

    48 GB GDDR6 (864 GB/s)

  • processor

    Processeur

    8 vCPUs AMD EPYC 7413

  • processor_frequency

    Fréquence du processeur

    2,65 Ghz

  • memory

    Mémoire

    96 GB de RAM

  • memory_type

    Type de mémoire

    DDR4

  • bandwidth

    Bande passante réseau

    2,5 Gbps

  • storage

    Stockage

    1,6 TB de Scratch Storage et Block Storage (additionnel)

  • threads_cores

    Cores

    Tensor Cores 4ème génération RT Cores 3ème génération

Cas d'usage

Fine-tuning & entrainement de LMM

Utilisez les Instances GPU H100 PCIe pour l'entraînement de modèles fondamentaux de taille moyenne à grande échelle, mais exploitez les capacités de la L40S pour fine-tuner en quelques heures et entraîner en quelques jours de petits LLM.

  • Une infrastructure alimentée par des GPU L40S peut entraîner des modèles en quelques jours
    Pour entraîner Llama 2-7B (100B tokens), cela nécessiterait 64 GPU L40S et prendrait 2,9 jours (contre 1 jour avec les GPU H100 NVlink, comme sur Nabu2023)
  • Affinez les modèles en quelques heures
    Pour affiner Llama 2-70B SFT (1T tokens), cela nécessitera 64 GPU L40S et prendra 8,2 heures (contre 2,5 heures avec les GPU H100 NVlink, comme sur Nabu2023)

Source: Présentation produit NVIDIA L40S, octobre 2023

"Nous utilisons une instance L40S, et c'est une alternative fantastique à la H100 PCIe compte tenu du rapport qualité-prix et de la vitesse.",
Wilson Wongso Machine Learning Engineer chez Bookbot

Essayez-la aujourd'hui

Estimez votre coût

Choisissez votre forfait

Sélectionner...
Sélectionner...
GB

Min. 10 GB

Si vous choisissez une Instance dotée d’une adresse IPv4, il vous faudra une IP flexible. Décochez cette option si vous en avez déjà une sur votre compte ou si vous n’avez pas besoin d’une IPv4.

Estimated cost

OptionValuePrice
ZoneParis 2
Instance1x0€
Volume10GB0€
IPv4 flexibleOui0.004€
Total
À la journée0
À la semaine0
Au mois0
Testez le GPU L40S aujourd'hui

Faites évoluer votre infrastructure sans effort

Choisissez le bon format

Avec quatre formats flexibles, dont les options 1, 2, 4 et 8 GPU, vous pouvez désormais facilement faire évoluer votre infrastructure en fonction de vos besoins spécifiques.

Nom de l'InstanceNombre de GPUTFLOPS FP16 Tensor CoresVRAMprix par heureprix par minute
L40S-1-48G1 NVIDIA L40S GPU362 TFLOPS48 GB1,4€/hour0,0235€/min
L40S-2-48G2 NVIDIA L40S GPUs724 TFLOPS2x 48 GB2,8€/hour0,047€/min
L40S-4-48G4 NVIDIA L40S GPUs1448 TFLOPS4x 48 GB5,6€/hour0,094€/min
L40S-8-48G8 NVIDIA L40S GPUs2896 TFLOPS8x 48GB11,2€/hour0,188€/min

Construire et surveiller une infrastructure cloud flexible et sécurisée

KubernetesDedicatedControlPlane-Schema-1040px-Dar.webp

Bénéficiez d'un écosystème cloud complet

Kubernetes Kapsule

Simple d’utilisation, Kubernetes Kapsule est entièrement intégré à notre écosystème cloud.

En savoir plus

Load Balancer

Répartissez les charges de travail sur plusieurs serveurs à l'aide d'un Load Balancer afin de garantir une disponibilité continue et d'éviter la surcharge des serveurs.

En savoir plus

Foire aux questions

Qu'est-ce qui est inclus dans le prix de l'Instance ?

Le prix de notre instance GPU comprend le vCPU, la RAM nécessaire pour une performance optimale, un stockage Scratch de 1,6TB. Il n'inclut pas le Block Storage et l'IP flexible.
Pour lancer l'Instance GPU L40S, nous vous recommandons fortement de provisionner un volume supplémentaire de Block Storage, car le Scratch Storage est un stockage éphémère qui disparaît lorsque vous éteignez la machine. L'objectif du Scratch Storage est d'accélérer le transfert de vos données vers le GPU.
Si vous souhaitez obtenir davantage d'informations sur l'utilisation de la mémoire temporaire, cliquez sur Follow the guide
En cas de doute sur le prix, utilisez la calculatrice, elle est faite pour ça !

Quelles sont les différences entre L40S-1-48G, L40S-2-48G, L40S-4-48G, L40S-8-48G ?

Il s'agit de 4 formats de la même instance intégrant le GPU NVIDIA L40S.

  • L40S-1-48G intègre 1 GPU NVIDIA L40S, offrant une mémoire GPU de 48 Gb.
  • L40S-2-48G intègre 2 GPU NVIDIA L40S, offrant une mémoire GPU de 2 fois 48 Gb.
  • L40S-4-48G embarque 4 GPU NVIDIA L40S, offrant une mémoire GPU de 4 fois 48 Gb.
  • L40S-8-48G intègre 8 GPU NVIDIA L40S, offrant une mémoire GPU de 8 fois 48 Gb.
Puis-je utiliser MIG pour tirer le meilleur parti de mon GPU ?

NVIDIA Multi-Instance GPU (MIG) est une technologie introduite par NVIDIA pour améliorer l'utilisation et la flexibilité des GPU en data center, spécialement conçus pour la virtualisation et les environnements multi-tenant. Cette fonctionnalité est disponible sur l'Instance GPU H100 PCIe mais pas sur l'Instance GPU L40S. Cependant, les utilisateurs peuvent bénéficier de la compatibilité avec Kubernetes Kapsule pour optimiser leur infrastructure.

En savoir plus

Comment choisir le bon GPU pour ma charge de travail ?

De nombreux critères doivent être pris en compte pour choisir la bonne instance GPU :

  • Exigences de la charge de travail ;
  • Exigences en matière de performances ;
  • Type de GPU ;
  • Mémoire du GPU ;
  • CPU et RAM ;
  • Compatibilité des pilotes de GPU et des logiciels ;
  • Mise à l'échelle.

Pour plus d'informations, consultez la [documentation dédiée à ce sujet] (https://www.scaleway.com/en/docs/compute/gpu/reference-content/choosing-gpu-instance-type/)