Planification du calcul pour l'entraînement des LLM : allocation GPU, ordonnancement et checkpointing

Planification du calcul pour l'entraînement des LLM : allocation GPU, ordonnancement et checkpointing

Renee Serda nov.. 18 0

Vous avez déjà dépensé une fortune en crédits cloud pour entraîner un modèle de langage, seulement pour voir votre cluster de GPUs tourner au ralenti ? C'est le cauchemar de tout ingénieur ML. Le problème ne vient souvent pas de la qualité de vos données ou de l'architecture du modèle, mais d'une mauvaise planification du calcul. Entraîner un Grand Modèle de Langage (LLM) n'est pas juste une question de puissance brute ; c'est un casse-tête logistique où chaque seconde d'inactivité coûte cher.

Aujourd'hui, nous allons décortiquer les trois piliers qui font ou défont une session d'entraînement réussie : l'allocation intelligente des GPUs, l'ordonnancement des tâches dans des environnements partagés, et les stratégies de sauvegarde (checkpointing) qui sauvent vos semaines de travail quand tout s'effondre.

Pourquoi la planification est plus critique que jamais

Les modèles modernes comme LLaMA-3 nécessitent des ressources colossales. Pour vous donner un ordre d'idée concret, entraîner un modèle comparable à LLaMA-3 peut prendre environ 54 jours sur un cluster de 16 000 GPUs H100-80GB. Si vos GPUs restent inactifs même 10 % du temps à cause d'une mauvaise synchronisation, vous perdez plus de cinq jours de calcul utile. C'est énorme.

Le défi principal réside dans l'hétérogénéité des infrastructures. Dans le cloud, vous partagez souvent des clusters avec d'autres utilisateurs. Si votre job demande des GPUs spécifiques et qu'ils sont occupés par une tâche moins prioritaire, vous attendez. La planification du calcul consiste à minimiser ces temps morts et à maximiser l'utilisation effective des FLOPs (opérations en virgule flottante par seconde).

L'allocation des GPUs : choisir la bonne stratégie de parallélisme

Comment répartir un modèle de plusieurs centaines de milliards de paramètres sur des milliers de cartes graphiques ? Il n'y a pas de solution unique. Tout dépend de la taille de votre modèle et de la mémoire disponible sur chaque GPU.

Le parallélisme de données : la base limitée

C'est la méthode la plus intuitive. Vous copiez le modèle entier sur chaque GPU. Chaque carte traite un lot différent de données, calcule les gradients, puis tous les GPUs se synchronisent pour mettre à jour les poids du modèle. Simple, efficace pour les petits modèles. Mais dès que le modèle devient trop gros pour tenir dans la mémoire d'un seul GPU (par exemple, 70 milliards de paramètres), cette approche atteint ses limites physiques.

Le parallélisme de pipeline : découper le modèle verticalement

Ici, on divise le modèle en couches. Les premières couches tournent sur le GPU 1, les suivantes sur le GPU 2, etc. Les données circulent comme sur une chaîne de montage. Cela permet d'entraîner des modèles plus grands que la mémoire d'un seul GPU. Le piège ? Le "bulle" d'inactivité. Quand le GPU 1 finit sa partie, il doit attendre que le GPU 2 ait fini la sienne avant de commencer le prochain lot. Une optimisation minutieuse est nécessaire pour réduire ce temps d'attente.

Le parallélisme de tenseurs : découper horizontalement

Quand une seule couche du modèle est trop grosse pour un GPU, on utilise le parallélisme de tenseurs. On coupe les matrices de poids en morceaux et on distribue les calculs matriciels sur plusieurs GPUs simultanément. C'est techniquement complexe car cela génère beaucoup de communication entre les cartes, mais c'est indispensable pour les architectures très larges.

Le parallélisme de séquence : gérer les longs contextes

Les LLMs actuels gèrent des fenêtres de contexte de plus en plus longues. Or, la mémoire requise pour l'attention croît quadratiquement avec la longueur de la séquence. Le parallélisme de séquence divise la séquence d'entrée elle-même sur différents GPUs. Attention toutefois : cela peut créer des déséquilibres de charge si certaines parties de la séquence sont plus complexes que d'autres à traiter.

Comparaison des stratégies de parallélisme pour l'entraînement LLM
Stratégie Avantage principal Inconvénient majeur Cas d'usage idéal
Parallélisme de Données Simplicité d'implémentation, faible communication Limité par la mémoire du GPU unique Modèles < 10B paramètres
Parallélisme de Pipeline Scalabilité verticale, mémoire réduite par GPU Bulles d'inactivité, complexité de mise en œuvre Modèles profonds, clusters hétérogènes
Parallélisme de Tenseurs Gère les couches individuelles trop grosses Latence élevée due aux communications réseau Couches d'attention très larges
Parallélisme de Séquence Réduit la mémoire pour les longs contextes Déséquilibre de charge potentiel Fenêtres de contexte > 32k tokens
Visualisation abstraite du parallélisme de pipeline sous forme de flux lumineux

L'ordonnancement : survivre dans un environnement multi-tenant

Si vous entraînez sur un cluster partagé ou un cloud public, vous n'êtes pas seul. D'autres jobs utilisent les mêmes ressources. Un mauvais ordonnanceur peut laisser votre job en file d'attente pendant des heures alors que des GPUs sont disponibles mais non attribuables à votre configuration spécifique.

Ordonnanceurs conscients de l'hétérogénéité

Des outils comme Gavel ou GandivaFair analysent les besoins de votre job (type de GPU, mémoire VRAM) et les comparent aux ressources disponibles. Ils évitent d'assigner un job nécessitant des A100 à un pool de V100, ce qui serait inefficace. Ils optimisent le placement pour maximiser le débit global du cluster.

Job-packing : remplir les trous

Il est rare qu'un job utilise 100 % de la mémoire d'un GPU H100 (80 GB). Des systèmes comme Lucid permettent de placer plusieurs petits jobs sur une même carte graphique. Au lieu de gaspiller 30 GB de mémoire vide, on y lance un autre processus léger. Cela augmente considérablement le taux d'utilisation matériel.

L'astuce des modèles de substitution

Tester des hyperparamètres sur le modèle final est prohibitif. Une pratique courante consiste à entraîner de petits modèles "substituts" (surrogate models) sur un sous-ensemble de données pour trouver les meilleurs réglages. Une fois la configuration optimale identifiée, on l'applique au grand modèle. Cela économise des semaines de calcul inutile.

Checkpointing et gestion de la mémoire : ne pas perdre la course

Entraîner un LLM prend des semaines. Les pannes de matériel sont fréquentes. Perdre 3 jours de progrès parce qu'un serveur a redémarré est impardonnable. Le checkpointing régulier est vital, mais il consomme aussi des ressources.

Recomputation d'activations (Gradient Checkpointing)

Pendant la passe avant (forward pass), le réseau stocke toutes les activations intermédiaires pour pouvoir calculer les gradients lors de la passe arrière (backward pass). Cela prend énormément de mémoire. La technique de recomputation ne stocke que quelques points clés. Lors de la passe arrière, on recalcule les activations manquantes à la volée. On échange de la mémoire contre du temps de calcul. Sur des GPUs puissants comme les H100, ce compromis est souvent favorable car la mémoire est plus chère que les cycles processeur.

Offloading vers CPU et SSD

Quand la mémoire GPU est saturée, on peut décharger une partie des poids ou des optimiseurs vers la RAM du CPU (offloading statique ou dynamique). Pour les modèles gigantesques, on va jusqu'à utiliser le stockage SSD NVMe. C'est plus lent, mais cela permet d'entraîner des modèles qui ne tiendraient physiquement pas dans les GPUs seuls. L'astuce est d'utiliser des méthodes dynamiques qui ajustent la mémoire en temps réel pour éviter que le GPU ne reste bloqué en attente de données.

LoRA et le fine-tuning économe

Si vous faites du fine-tuning plutôt qu'un pré-entraînement complet, utilisez LoRA (Low-Rank Adaptation). Cette méthode gèle les poids originaux du modèle et n'entraîne que de petites matrices de rang faible injectées dans les couches Transformer. Résultat ? Vous pouvez fine-tuner un modèle de 175 milliards de paramètres avec une fraction de la mémoire nécessaire pour l'entraînement complet. C'est la norme actuelle pour adapter les modèles open-source.

Sauvegarde d&#039;un modèle IA représentée par une sphère de lumière dorée

Maximiser l'efficacité : MFU et précision numérique

L'objectif ultime est de maximiser le Model FLOPs Utilization (MFU). C'est le ratio entre les opérations effectives réalisées et le pic théorique de performance des GPUs. Un MFU élevé signifie que vos GPUs travaillent vraiment.

  • Précision mixte : Utilisez le format BF16 ou FP16 au lieu du FP32. Cela réduit la charge mémoire et accélère les calculs matriciels sans perte significative de précision pour les LLMs.
  • Optimisation des communications : Superposez les communications réseau avec les calculs locaux. Pendant qu'un GPU envoie ses gradients à un autre, il devrait continuer à calculer sur ses propres données.
  • Équilibrage de charge : Assurez-vous que tous les GPUs reçoivent des lots de données de difficulté similaire. Sinon, le GPU le plus rapide attendra toujours le plus lent.

Conclusion pragmatique

La planification du calcul n'est pas une science exacte, mais une discipline d'optimisation continue. En combinant intelligemment les parallélismes, en utilisant des ordonnanceurs adaptés à votre infrastructure, et en maîtrisant la mémoire via le checkpointing et l'offloading, vous transformez un projet risqué en une opération rentable. Rappelez-vous : le but n'est pas d'avoir le plus de GPUs possible, mais d'en tirer le maximum d'efficacité.

Quelle est la différence entre le parallélisme de données et de modèle ?

Le parallélisme de données copie le modèle entier sur chaque GPU et divise les données d'entrée. Le parallélisme de modèle divise le modèle lui-même (ses couches ou ses tenseurs) sur plusieurs GPUs. Le premier est limité par la mémoire d'un seul GPU, tandis que le second permet d'entraîner des modèles plus grands que la mémoire disponible sur une seule carte.

Pourquoi utiliser le gradient checkpointing ?

Le gradient checkpointing réduit l'utilisation de la mémoire GPU en ne stockant pas toutes les activations intermédiaires pendant la passe avant. Il les recalcule pendant la passe arrière. Cela permet d'entraîner des modèles plus profonds ou avec des batch sizes plus grandes sur des GPUs à mémoire limitée, au prix d'un coût de calcul supplémentaire.

Qu'est-ce que LoRA et pourquoi est-il populaire ?

LoRA (Low-Rank Adaptation) est une technique de fine-tuning qui congèle les poids pré-entraînés et ajoute de petites matrices d'adaptation. Elle réduit drastiquement le nombre de paramètres à entraîner (jusqu'à 10 000 fois moins), permettant de fine-tuner des modèles géants sur des infrastructures modestes avec une efficacité quasi équivalente à un entraînement complet.

Comment réduire les coûts d'entraînement dans le cloud ?

Utilisez des instances spot ou preemptibles si votre infrastructure le permet, employez la précision mixte (BF16/FP16), optimisez l'ordonnancement pour éviter les temps morts, et envisagez le fine-tuning paramétriquement efficace (comme LoRA) plutôt que le pré-entraînement complet si votre cas d'usage le permet.

Quel impact ont les longs contextes sur la planification ?

Les longs contextes augmentent exponentiellement la mémoire requise pour l'attention. Cela impose l'utilisation du parallélisme de séquence ou de techniques d'attention efficaces (comme FlashAttention). Sans cela, les GPUs manquent de mémoire ou deviennent le goulot d'étranglement, réduisant le MFU.

Articles récents
Communauté et éthique pour les programmes d'IA générative : engagement des parties prenantes et transparence
Communauté et éthique pour les programmes d'IA générative : engagement des parties prenantes et transparence

L'usage éthique de l'IA générative repose sur la transparence, l'engagement des parties prenantes et la responsabilité humaine. Découvrez comment les universités et les institutions appliquent ces principes en 2025.

Risques du contexte long en IA générative : Distorsion, Dérive et Perte de saillance
Risques du contexte long en IA générative : Distorsion, Dérive et Perte de saillance

Découvrez pourquoi les grandes fenêtres de contexte en IA génèrent des risques de distorsion, de dérive et de perte de saillance. Comprenez les chiffres clés et les stratégies pour sécuriser vos applications.

Plans de Prompt pour la Recherche, le Résumé et les Q&R avec les LLM
Plans de Prompt pour la Recherche, le Résumé et les Q&R avec les LLM

Découvrez comment structurer vos interactions avec les LLM grâce aux blueprints de prompt. Guides pratiques pour la recherche, le résumé et les Q&R.

À propos de nous

Cercle de l'Évaluation IA est une communauté dédiée aux benchmarks, audits et bonnes pratiques pour mesurer la performance et l'éthique des systèmes d'intelligence artificielle. Découvrez des guides, cadres méthodologiques et études de cas pour fiabiliser vos modèles. Partagez et comparez des jeux de tests, métriques et outils open source. Restez informé des actualités et normes autour de l'évaluation des IA.