Lecture · veille du 16 octobre 2026
Scaling Indic Pretraining: 2.8 Trillion Tokens et une Pipeline de Génération de Données Ouverte
Hugging Face Blog Publié le 16 octobre 2026 à 01:44 Angle technique Article en anglais pertinence 4 sur 5
Lire l'article original sur Hugging Face Blog, dans une nouvelle fenêtre
L'équipe NVIDIA et AI4Bharat ont créé un corpus massif de données synthétiques en langues indiciennes pour améliorer les performances des modèles de langage.
- Un corpus de 2,8 trillions de tokens a été créé dans 22 langues indiennes constitutives de l'Inde.
- Ce corpus est le résultat d'une pipeline de génération de données open-source développée par NVIDIA et utilisée pour créer les données.
- Le projet vise à combler le manque de données en langues indiciennes, un obstacle au développement des technologies IA dans cette région.
- La méthode de création du corpus intègre la traduction, l'évaluation de qualité, la réparation des erreurs et la conversion entre scripts natifs et romains.
NVIDIA et AI4Bharat ont développé Nemotron-pretraining-Indic-v1, un corpus de 2,8 trillions de tokens répartis sur 22 langues constitutives de l'Inde. Ce projet est motivé par le manque de données en langues indiciennes, identifié comme un frein au développement des technologies d'IA dans cette région.
La création de ce corpus repose sur une pipeline open-source, incluant la traduction depuis l’anglais, l'évaluation de la qualité des traductions et leur réparation. Cette approche garantit que le texte synthétique est basé sur des informations réelles et vérifiées, en traçant l'origine de chaque élément.
Des améliorations significatives ont été observées sur plusieurs benchmarks de connaissance et de raisonnement en langues indiciennes après la phase de pré-entraînement avec ce corpus. La combinaison de données synthétiques et naturelles a permis d’augmenter les performances du modèle Nemotron 3.5 Super VL.
Mots-clés : Indic Pretrainingmodèles de langageopen-weight
Transparence : synthèse en français produite automatiquement par un modèle de langage local (gemma3:4b (Ollama, local sur le VPS)), non révisée. Le texte intégral reste chez l'éditeur d'origine.