Checkpoint
Un Checkpoint est une capture instantanée des poids et des hyper-paramètres d’un modèle d’IA, enregistrée à un moment précis de l’entraînement ou du fine-tuning. Conçu pour pouvoir reprendre le calcul en cas d’interruption (crash, spot GPU libéré) ou pour versionner les performances atteintes (meilleur score sur le jeu de validation, étape n 000), le checkpoint se matérialise par un ou plusieurs fichiers (généralement .ckpt, .pt, .safetensors ou un dossier de shards) stockant l’état complet du réseau neuronal. Dans l’écosystème diffusion/LLM, on parle aussi de “model checkpoint” pour désigner le modèle final prêt à l’inférence ou les « sauvegardes » intermédiaires partagées sur Hugging Face ou Civitai.
Les éléments clés d’un checkpoint efficace
- Granularité judicieuse : sauvegarde périodique (toutes les n époques ou X minutes) vs. checkpoints « best val » déclenchés par un pic de métrique.
- Contenu complet : poids du réseau, état de l’optimiseur, scheduler, RNG seed et scaler (mixed precision) pour redémarrer à l’identique.
- Format sécurisé :
safetensorscryptés/hashés pour éviter la corruption et l’exécution de code malveillant à l’import. - Nommage cohérent :
model_epoch05_loss0.42.ckptou2025-06-20_best_bleu32.ptfacilitant le repérage et le roll-back. - Compression & shards : découpage en fichiers de 2 Go (limite Git LFS) ou conversion en 4-bit pour réduire la taille sans perdre l’information.
- Métadonnées traçables : commit Git, config .yaml et manifest JSON listant dataset, hyper-params, date de build et auteur.
- Stockage redondant : double sauvegarde (on-prem + cloud S3) et politique de rétention (J + 7, J + 30, meilleur global).
Pourquoi soigner ses checkpoints ?
- Reprise sans perte : 12 h d’apprentissage nocturne ne s’envolent pas à cause d’une coupure de courant.
- Comparaison scientifique : conserver les jalons permet d’analyser learning curves, overfitting et choix d’hyper-paramètres.
- Versioning produit : publier un checkpoint « v1.2 » stable tout en continuant à itérer sur « main ».
- Partage open-source : distribuer un poids prêt à l’emploi (diffusion, LoRA, QLoRA) de quelques centaines de Mo plutôt qu’un notebook à exécuter.
- Rollback conformité : revenir à une version antérieure si un nouveau fine-tune introduit un biais ou viole une règle RGPD.
- Optimisation infrastructure : reprendre sur spot GPUs interrompus sans recommencer au début, réduisant facture cloud et CO₂.
Petite anecdote Checkpoint
En 2023, un laboratoire universitaire a lancé un entraînement de 6 jours sur un cluster subventionné… avant qu’une panne électrique majeure n’interrompe tout au 5ᵉ jour. Par chance, un checkpoint automatique toutes les 3 heures avait été activé ; en deux clics, les chercheurs ont redémarré le job juste 25 minutes avant la coupure, économisant l’équivalent de 15 000 € de calcul GPU. Le modèle — un détecteur de maladies cérébrales sur IRM — a finalement atteint l’état de l’art, rappelant qu’une sauvegarde bien nommée vaut parfois autant qu’un supercalculateur !