OmniDocBench: Limites et pertinence pour les factures

À retenir

• La métrique Overall d'OmniDocBench est une moyenne, au niveau de la page, entre la distance d'édition sur le texte, le TEDS des tableaux et le CDM des formules (la formule est ((1 − distance d'édition du texte) × 100 + TEDS du tableau + CDM de la formule) / 3), ce qui ne dit rien sur la question de savoir si le total de TVA de votre facture est bien tombé dans la bonne clé JSON.
• Le corpus du benchmark est académique : 1 355 pages bilingues issues de livres, de diaporamas, de rapports financiers, de manuels scolaires, de sujets d'examens, de magazines, d'articles universitaires, de notes manuscrites et de journaux. Aucune facture fournisseur.
• Reconstituez les mêmes pages sous forme de photographies physiques et les scores chutent : les artefacts optiques comme le moiré, les reflets et les ombres provoquent des baisses relatives de 5 à 7 %, et la distorsion géométrique (gauchissement, inclinaison) entraîne la dégradation la plus marquée.
• Réalité au niveau des champs : les totaux de facture et les noms de fournisseurs dépassent 99 %, mais les lignes de détail et les répartitions de TVA sur plusieurs lignes se situent généralement entre 95 et 97 %, et une seule ligne erronée fait échouer tout le document.

Que mesure réellement un score OmniDocBench de 94 % ?

Il mesure à quel point la reconstruction markdown ou HTML d'une page par un modèle se rapproche d'une reconstruction annotée par un humain, moyennée sur trois sous-métriques. Le texte et l'ordre de lecture sont notés par distance d'édition, les tableaux par la similarité fondée sur la distance d'édition d'arbre (TEDS), et les formules par la correspondance de détection de caractères (CDM). Le score composite est une moyenne non pondérée de ces trois indicateurs. Un modèle peut donc afficher 94 tout en massacrant chaque tableau de la page, à condition que sa distance d'édition sur le texte et son CDM sur les formules soient excellents.

Les progrès sont réels. PaddleOCR-VL-1.5 a fait passer le score global de 92,86 % à 94,50 %, et sur le protocole v1.6 plus récent, les six meilleurs scores globaux se situent entre 94,49 et 96,19, un écart de seulement 1,70 point, MinerU2.5-Pro atteignant 96,12 et GLM-OCR le devançant de 0,07 point. Ce resserrement en dit long. Quand six systèmes se tiennent dans une fourchette de deux points, le benchmark a cessé de discriminer, et le classement que vous lisez relève du bruit statistique et d'un ajustement au jeu de test.

Quand six systèmes se tiennent dans une fourchette de deux points, le benchmark a cessé de discriminer.

Il est utile de se rappeler comment ce corpus a été constitué : les pages d'origine ont été collectées auprès de sources web diverses, notamment Common Crawl et des moteurs de recherche. Des PDF web publics. Votre boîte de réception comptabilité fournisseurs n'est pas constituée de PDF web publics.

Pourquoi les métriques de parsing au niveau de la page ne prédisent-elles pas la précision sur les champs d'une facture ?

Parce que la distance d'édition récompense le fait d'obtenir la plupart des caractères justes, alors qu'un pipeline de traitement de factures est jugé sur l'exactitude parfaite d'un ensemble discret de clés. Obtenez 98 % des caractères corrects sur une page et vous pouvez malgré tout vous retrouver avec un IBAN corrompu. L'ordre de lecture illustre le même décalage : la distance d'édition sur l'ordre de lecture d'OmniDocBench 1.5 va de 0,026 à 0,082, si bien que même les meilleurs modèles peinent avec la logique de mise en page. Une erreur d'ordre de lecture de 0,05 est cosmétique dans un manuel scolaire et fatale sur une facture à deux colonnes où une description de ligne se retrouve accolée à la mauvaise quantité.

Les benchmarks au niveau des champs mettent ce problème en évidence de manière directe. RealDocBench, construit sur des documents réglementés, rapporte 96,0 % de précision par champ et 90,9 % par question pour le système le plus performant, et note qu'exiger l'exactitude de toutes les clés fait chuter la plupart des systèmes de 5 à 17 points par rapport à leur score par champ. Cette métrique par question, c'est exactement ce que ressent votre équipe comptabilité fournisseurs : un document est soit validé, soit envoyé en relecture.

Si vous devez choisir une approche, les arbitrages entre OCR en pipeline et modèles de bout en bout sont structurels, pas seulement une question de points de précision : voir la comparaison OCR vs VLM pour comprendre les modes d'échec de chacun.

Que se passe-t-il quand la facture est une photo prise au téléphone, et non un export propre ?

Les scores chutent, et il existe désormais un benchmark qui le quantifie. Real5-OmniDocBench réalise une reconstruction physique complète, à l'échelle et un-à-un, de l'intégralité d'OmniDocBench v1.5 (1 355 images) selon cinq scénarios : numérisation, gauchissement, photographie d'écran, éclairage et inclinaison, produisant 6 775 images avec une correspondance un-à-un entre vérité terrain numérique et physique. À l'exception du sous-ensemble numérisé, toutes les images ont été capturées à la main avec des appareils mobiles. Les auteurs formulent la motivation sans détour : les VLM atteignent des scores quasi parfaits sur des benchmarks numériques comme OmniDocBench, mais leurs performances dans le monde physique, imprévisible, restent largement inconnues.

Les résultats se répartissent selon le mode de défaillance. Le gauchissement et l'inclinaison provoquent la dégradation la plus marquée, avec une chute nette du TEDS pour les modèles en pipeline et une baisse seulement modeste pour les VLM conçus pour l'invariance géométrique, tandis que la photographie d'écran et l'éclairage coûtent 5 à 7 % en valeur relative. Les meilleures configurations publiées atteignent tout de même environ 92,05 % au global, en dessous des chiffres obtenus sur pages propres. Et les auteurs reconnaissent une pénalité inhérente : la capture à main levée introduit un écart de résolution par rapport aux originaux numériques. Vos justificatifs de notes de frais et documents de transport vivent exactement dans cet écart.

Quels champs de facture échouent réellement ?

Les champs d'en-tête sont pratiquement résolus ; les échecs se concentrent dans les structures répétitives et dans tout ce qui exige une cohérence arithmétique. Les données publiées par palier de champs situent les approches OCR traditionnelles seules entre 85 et 95 % sur les champs de facture structurés, et l'extraction fondée sur les LLM entre 97 et 99 %, avec des champs simples et uniques comme les totaux et les noms de fournisseurs au-dessus de 99 %, et des champs complexes comme les lignes de détail et les répartitions de TVA sur plusieurs lignes entre 95 et 97 %. Multipliez 96 % par ligne sur une facture de 30 lignes et le taux de traitement automatisé s'effondre.

L'irrégularité du format, plus que la qualité d'image, est souvent le vrai coupable. Un benchmark sur les factures a constaté qu'une faible résolution avait un impact minime sur la qualité de détection et que les descriptions multi-lignes ne dégradaient pas la plupart des modèles, mais que des structures de facture non conventionnelles, avec des champs manquants ou des sous-éléments, provoquaient des échecs de détection sur tous les modèles. Cela correspond à l'expérience terrain des équipes comptabilité fournisseurs : avoirs, lignes de retenue de garantie, multi-devises, remises appliquées en pied de page, et TVA indiquée par ligne plutôt que par taux. Les affirmations de précision par fournisseur sont également conditionnelles. Un fournisseur atteignant 99 % sur des factures numériques propres émises par de grands fournisseurs peut ne plus atteindre que 85 % sur des factures scannées provenant de petits fournisseurs à formats non standard.

Les champs d'en-tête sont résolus ; l'argent se perd dans les lignes de détail, les répartitions de TVA et les avoirs.

La solution n'est que rarement un meilleur moteur de parsing. C'est plutôt des règles de validation déterministes appliquées en aval de l'extraction (la somme des lignes égale le sous-total, le taux de TVA est correctement appliqué, le fournisseur correspond à une fiche de référence) associées à une extraction de tableaux évaluée ligne par ligne plutôt que cellule par cellule.

Comment une équipe technique doit-elle évaluer son propre pipeline de traitement de factures ?

Constituez un jeu de référence de 300 à 500 documents issus de votre propre boîte de réception, stratifié par typologie de fournisseurs, par canal de capture et par variante de document, puis notez par champ, par document et par euro exposé. Les classements publics ne servent qu'à une présélection. Comme le dit un éditeur de solutions d'évaluation, les benchmarks académiques comparent des modèles mais ne s'intègrent pas aux workflows de production.

Protocole pratique :

1. Stratifiez par source (PDF natif, scan, photo, capture d'écran) et par décile de volume fournisseur. Les fournisseurs à la longue traîne méritent une sur-représentation.
2. Notez la correspondance exacte par champ, puis par document, avec toutes les clés correctes. Rapportez les deux, systématiquement.
3. Suivez le taux de traitement automatisé de bout en bout comme indicateur principal. Un éditeur rapporte un taux de traitement automatisé en production de 85 à 92 % dans des environnements de comptabilité fournisseurs mixtes en entreprise, en soutenant que les acheteurs devraient mesurer ce taux plutôt que la seule précision d'extraction. Considérez le chiffre précis comme une donnée déclarée par l'éditeur, mais le choix de la métrique est le bon.
4. Calibrez les scores de confiance sur le taux d'erreur observé, puis fixez les seuils de relecture en fonction de l'exposition financière plutôt que d'un seuil global unique.
5. Recommencez chaque trimestre. Les mises à jour des modèles modifient le comportement sur vos fournisseurs de longue traîne bien avant de faire évoluer les positions au classement.

Sygnet réalise ce type d'évaluation par champ et par document sur des jeux de documents clients plutôt que sur des corpus publics, car les deux classent les systèmes différemment. Pour le volet coûts de la même question, la décomposition du coût du traitement manuel des factures montre ce que vaut concrètement un écart de cinq points de taux de traitement automatisé pour 10 000 factures.

FAQ

OmniDocBench est-il inutile pour le traitement des factures ?

Non, c'est simplement le mauvais instrument. C'est un bon indicateur de la qualité de conversion documentaire : ingestion RAG, reconstruction markdown, fidélité de structure des formules et des tableaux. Il permet une évaluation multi-niveaux à l'aide de 19 catégories de mise en page et 15 étiquettes d'attributs, ce qui est réellement utile pour diagnostiquer les échecs de mise en page. Utilisez-le pour écarter les candidats faibles, puis tranchez à l'aide de votre propre jeu de référence au niveau des champs.

Quel benchmark se rapproche le plus des factures réelles ?

Real5-OmniDocBench pour la robustesse à la capture, RealDocBench pour l'extraction au niveau des champs sur des documents réglementés. Real5 isole la numérisation, le gauchissement, la photographie d'écran, la variation d'éclairage et l'inclinaison, ce qui correspond assez fidèlement à la façon dont les factures et reçus arrivent réellement. Aucun des deux ne contient de factures à proprement parler, ils restent donc tous deux des approximations. Il n'existe actuellement aucun benchmark public de factures largement adopté avec une vérité terrain ouverte au niveau des champs.

Quel taux de traitement automatisé faut-il viser ?

Fixez l'objectif en fonction du coût des exceptions, pas du discours marketing des éditeurs. Si une facture relue coûte trois minutes et qu'une erreur non détectée coûte une correction de paiement, le seuil optimal se situe généralement bien en dessous de 100 % d'automatisation. Les chiffres de production publiés se regroupent dans la fourchette de 85 à 92 % pour une comptabilité fournisseurs mixte. Concevez le système avec une relecture humaine intégrée sur le résidu, et mesurez le débit des relecteurs comme partie intégrante du système.

De meilleurs scores OCR se traduisent-ils par une meilleure extraction en aval ?

Seulement jusqu'à un certain point. Une fois la distance d'édition du texte descendue en dessous d'environ 0,05, le goulot d'étranglement se déplace vers la structure et la sémantique : ordre de lecture, regroupement des lignes de tableau, et correspondance des valeurs avec les bonnes clés de schéma. C'est pourquoi le CDM des formules et l'ordre de lecture restent les facteurs de différenciation entre les meilleurs modèles alors que les scores sur le texte convergent. Pour les factures, mieux vaut consacrer l'effort d'ingénierie à la validation de schéma et à la réconciliation qu'au dernier point de pourcentage d'erreur caractère.