OmniDocBench

OmniDocBench est un benchmark public destiné à évaluer les systèmes d'analyse documentaire, couvrant des tâches comme la détection de mise en page, la reconnaissance de texte, l'extraction de tableaux et la reconnaissance de formules sur des types de documents variés. Il note les modèles selon leur capacité à reconstituer la structure et le contenu d'un document à partir d'une image ou d'un scan, à l'aide d'un jeu fixe de pages annotées. Les équipes qui développent ou achètent des solutions d'IA documentaire s'en servent pour comparer moteurs OCR et modèles vision-langage sur une base commune.

Comment ça fonctionne

OmniDocBench s'appuie sur un ensemble sélectionné de pages de documents : articles académiques, manuels scolaires, rapports financiers, copies d'examen, magazines, et bien d'autres. Chaque page est annotée manuellement avec une vérité terrain pour les zones de mise en page, l'ordre de lecture, le contenu textuel, la structure des tableaux et les formules mathématiques. Le modèle testé traite les mêmes pages, et sa sortie est comparée à ces annotations.

La notation repose sur des métriques propres à chaque tâche. La reconnaissance de texte est jugée par la distance d'édition par rapport à la transcription de référence. L'extraction de tableaux est notée sur la similarité structurelle, car un tableau peut être « globalement correct » de différentes façons selon les cellules fusionnées ou les en-têtes imbriqués. La reconnaissance de formules utilise sa propre logique d'appariement, les formules ayant leur syntaxe propre. La détection de mise en page est notée sur l'adéquation entre les boîtes englobantes prédites et les types de zones, et les annotations correspondantes.

Comme le benchmark couvre plusieurs catégories de documents, il fournit aussi des résultats détaillés par catégorie. Un modèle peut très bien s'en sortir sur des PDF académiques propres et beaucoup moins bien sur des formulaires manuscrits ou des scans de mauvaise qualité. Cette ventilation compte davantage que le score agrégé pour quiconque évalue un outil au regard d'un cas d'usage précis.

OmniDocBench ne reproduit pas particulièrement bien les documents d'entreprise comme les factures, les dossiers de sinistres ou les contrats. Son corpus penche plutôt vers du contenu académique et éditorial généraliste, donc les résultats doivent être lus comme un signal de compétence générale en analyse documentaire, et non comme une garantie de performance sur votre flux documentaire réel.

Pourquoi c'est important pour le traitement documentaire

Les éditeurs citent volontiers les scores OmniDocBench dans leurs supports marketing, et c'est un point de départ raisonnable pour affiner une présélection. Mais un score élevé ne garantit pas qu'un modèle traitera bien vos factures, vos dossiers KYC ou vos formulaires de sinistres. Les catégories de documents du benchmark ne recoupent pas nettement la paperasse réglementée des entreprises, et ses métriques récompensent la fidélité générale de la mise en page et du texte plutôt que la précision d'extraction champ par champ sur des scans réels et imparfaits.

Si vous devez choisir entre un pipeline OCR et un modèle vision-langage pour un flux de travail donné, considérez OmniDocBench comme un critère parmi d'autres. Constituez votre propre jeu de test avec des documents représentatifs, incluant les mauvais scans et les cas limites que vous rencontrez réellement en production, avant de vous engager. Consultez notre analyse détaillée des limites du benchmark spécifiquement pour le traitement des factures.

Termes associés

• OCR vs VLM
• Analyse documentaire
• Analyse de la mise en page documentaire
• Extraction de tableaux
• OmniDocBench : limites pour le traitement des factures et l'OCR

FAQ

OmniDocBench est-il un bon moyen d'évaluer un fournisseur pour le traitement des factures ou des sinistres ?

Pas à lui seul. OmniDocBench mesure la qualité générale d'analyse documentaire sur des documents de type académique et éditorial, pas les champs spécifiques, les mises en page et les types de bruit que l'on trouve dans les factures, les dossiers de sinistres ou les contrats. Utilisez-le pour présélectionner des candidats, puis validez avec un jeu de test constitué de vos propres documents avant de prendre une décision.

Que révèle réellement un score OmniDocBench élevé ?

Il indique que le modèle reconstitue avec précision la mise en page, le texte, les tableaux et les formules sur le corpus propre au benchmark. Il ne dit rien sur la façon dont le modèle gère l'extraction champ par champ, les scans de mauvaise qualité, ou les types de documents hors de ce corpus, ce qui est souvent là où les déploiements en entreprise rencontrent des difficultés.