Lecture · veille du 4 septembre 2026
NeoMME : un encodeur multimodal et multilingue efficace
Hugging Face Blog Publié le 3 septembre 2026 à 13:13 Angle technique Article en anglais pertinence 4 sur 5
Lire l'article original sur Hugging Face Blog, dans une nouvelle fenêtre
NeoMME est un encodeur multimodal multilingue efficace conçu pour la récupération visuelle de documents.
- NeoMME est constitué de deux modèles : un modèle de 260 millions et un de 800 millions de paramètres, tous deux basés sur une architecture Transformer bidirectionnelle.
- Contrairement à d'autres modèles génératifs, NeoMME ne repose pas sur des modules pré-entraînés distincts pour la vision ou le langage, mais est entraîné de manière native multimodale et multilingue.
- Le modèle utilise un objectif de diffusion discrète masquée pour l'entraînement, ce qui lui permet de reconstruire du texte à partir d'images avec des niveaux de corruption variables.
- Des techniques de compression telles que le pooling hiérarchique et la quantification asymétrique réduisent considérablement l'espace de stockage de l'index late-interaction, tout en maintenant une performance de récupération élevée.
NeoMME représente une avancée dans les encodeurs multimodaux, en adoptant une approche native et multilingue. Contrairement aux modèles traditionnels qui combinent des modules pré-entraînés séparés pour la vision et le langage, NeoMME est entraîné de bout en bout sur des données combinées texte et image, ce qui permet une meilleure intégration des informations.
L'architecture du modèle est optimisée pour l'efficacité, utilisant un Transformer bidirectionnel et des techniques d'attention avancées telles que l'attention groupée et l'attention globale. Des stratégies de compression sont également mises en œuvre pour réduire considérablement la taille de l'index late-interaction sans compromettre la qualité de la récupération.
Les résultats expérimentaux démontrent la performance élevée de NeoMME sur le benchmark ViDoRe v3, surpassant d'autres modèles similaires en termes de nDCG@10 et de paramètres utilisés. L'approche de récupération visuelle basée sur NeoMME-Retriever utilise des embeddings late-interaction pour une recherche efficace et précise.
Mots-clés : encodeurmultimodalmultilingue
Transparence : synthèse en français produite automatiquement par un modèle de langage local (gemma3:4b (local, Ollama sur le VPS)), non révisée. Le texte intégral reste chez l'éditeur d'origine.