Élagage des LLM comme un Physicien : Suppression de blocs en tant que problème d'optimisation par l’Ising

Cet article présente une nouvelle stratégie pour compresser les grands modèles linguistiques (LLMs) en s'inspirant des principes de la physique statistique. L'approche repose sur la reformulation du problème de sélection des blocs à supprimer comme un problème d'optimisation combinatoire, analogue à un système de spins couplés, plus précisément un Ising glass. Cette formulation permet de capturer les interactions complexes entre les différents blocs du modèle, ce qui est une limitation des méthodes traditionnelles qui traitent chaque bloc indépendamment.

La clé de cette méthode réside dans l'utilisation de l'énergie du système de spins comme proxy pour la performance du modèle après suppression. En minimisant cette énergie, on obtient un modèle compact et performant sans avoir recours à des benchmarks coûteux. L'article utilise des solveurs classiques et quantiques inspirés de la physique statistique pour explorer efficacement l'espace de configuration et trouver les meilleures configurations de blocs à supprimer.

Les résultats expérimentaux démontrent que cette approche est compétitive par rapport aux méthodes existantes, notamment en termes de compression profonde du modèle Llama-3.3-70B-Instruct, où elle obtient un avantage significatif sur le benchmark MMLU. De plus, la méthode s'avère applicable à des modèles hybrides complexes, comme NVIDIA-Nemotron-3-Nano-30B-A3B-FP8, intégrant différents types de couches (Mamba2, attention, MoE), sans nécessiter de réentraînement.

En conclusion, l'article propose une approche innovante et robuste pour la compression des LLMs, basée sur un modèle physique et des techniques d'optimisation combinatoire, ouvrant ainsi de nouvelles perspectives pour le développement de modèles plus efficaces et moins gourmands en ressources.