Le modèle OCR de Mistral (OCR 4)

Un VLM spécialisé pour l’extraction documentaire

Quand vous écrivez mistral-ocr-latest dans votre code, vous pointez vers la génération OCR la plus récente de Mistral : OCR 4, qui succède à OCR 3. C’est un modèle de vision (VLM) fine-tuné exclusivement pour l’extraction de texte depuis des documents. Cette spécialisation a une conséquence directe sur votre facture et sur vos résultats : à la différence d’un modèle généraliste qui sait tout faire à peu près, il est optimisé pour une tâche unique, ce qui lui donne une meilleure précision pour un coût inférieur.

Par rapport à OCR 3, deux avancées structurent la nouvelle génération. Les boîtes englobantes au niveau du paragraphe localisent précisément chaque bloc reconnu dans la page : vous savez non seulement ce qui est écrit, mais où. Et les blocs structurels restituent le document comme une structure typée plutôt que comme un texte plat, ce qui vous évite de réinventer un parseur pour retrouver la hiérarchie d’un rapport.

Ce qui se passe sous le capot

L’architecture repose sur une tokenisation entrelacée : le modèle traite simultanément les tokens textuels et les tokens visuels. Concrètement, il ne lit pas des caractères isolés puis n’essaie pas de deviner leur agencement ; il voit la page entière et raisonne dessus. C’est ce qui lui permet de comprendre qu’un document est organisé en deux colonnes, qu’un intertitre gouverne les paragraphes qui le suivent, ou qu’une légende se rapporte à l’image située au-dessus d’elle.

OCR 4 appartient au tier Premier de Mistral AI. Pour un déploiement en entreprise, cela se traduit par une haute disponibilité via l’API La Plateforme, des mises à jour régulières appliquées sans interruption de service, et la possibilité de souscrire un SLA entreprise lorsque le traitement documentaire est sur le chemin critique de votre activité.

Le support linguistique dépasse cinquante langues. Il couvre les langues latines — français, anglais, espagnol, allemand, italien, portugais —, les langues asiatiques comme le chinois, le japonais et le coréen, les scripts de droite à gauche que sont l’arabe et l’hébreu, ainsi que le cyrillique pour le russe et l’ukrainien. Point souvent décisif en pratique : l’écriture manuscrite est reconnue dans toutes ces langues, ce qui ouvre le traitement des formulaires remplis à la main.

La sortie, page par page

Pour chaque page traitée, OCR 4 retourne un objet JSON dont vous exploiterez surtout deux ou trois champs au quotidien :

{
    "index": 0,              # Numéro de page (0-indexé)
    "markdown": "## Titre\n\nContenu...",  # Texte en Markdown
    "images": [...],         # Images extraites (base64 optionnel)
    "tables": [...],         # Tableaux détectés
    "hyperlinks": [...],     # Liens hypertexte préservés
    "header": "En-tête",     # En-tête de page (optionnel)
    "footer": "Pied de page", # Pied de page (optionnel)
    "dimensions": {          # Dimensions de la page
        "width": 612,
        "height": 792
    }
}

Le champ markdown porte l’essentiel du contenu. Le rendu des tableaux à l’intérieur de ce Markdown se pilote par le paramètre table_format, qui accepte trois valeurs :

• null (défaut) : tableaux en ligne dans le Markdown
• "markdown" : tableaux en format Markdown standard avec pipes |
• "html" : tableaux en HTML complet avec balises <table>, <tr>, <td>

Les images, elles, sont segmentées automatiquement. En activant l’option include_image_base64=True, vous récupérez chaque illustration encodée en base64, prête à être sauvegardée sur disque ou réinjectée dans un document reconstruit. Sans cette option, vous n’obtenez que les références, ce qui allège considérablement la réponse quand vous ne traitez que du texte.

Face aux alternatives

Comparé à Tesseract, la différence se voit dès le premier document non trivial. Tesseract se comporte honorablement sur du texte imprimé simple, mais il ne possède aucune compréhension de la structure tabulaire, bute sur l’écriture manuscrite, mélange l’ordre de lecture des mises en page multi-colonnes et se dégrade fortement sur les scans de mauvaise qualité. OCR 4, parce qu’il voit la page, en reconstruit la structure sémantique.

La comparaison avec les modèles généralistes — Pixtral, GPT, Gemini — se joue ailleurs. Ces modèles savent traiter un document, mais les images consomment énormément de tokens, ce qui pèse lourdement dès que le volume monte. Ils ne sont pas optimisés pour la fidélité d’extraction et hallucinent plus facilement sur les chiffres et les tableaux, précisément là où l’erreur coûte le plus cher : un montant de facture inventé ne se détecte pas à la relecture. OCR 4 est fine-tuné pour la fidélité, pas pour la génération.

Sur les benchmarks, OCR 4 se positionne comme le modèle OCR le plus précis disponible via API, avec une précision quasi parfaite sur l’extraction de texte imprimé, une reconstruction fidèle de la structure des tableaux, une reconnaissance manuscrite multilingue de haute qualité et de bons résultats sur les mises en page complexes mêlant colonnes, encarts et graphiques intégrés.

Un seul identifiant à retenir

Dans tous vos appels API, vous utiliserez cet identifiant :

model = "mistral-ocr-latest"

Il pointe toujours vers la dernière version stable du modèle, et les mises à jour sont transparentes et rétrocompatibles. Évitez la tentation d’épingler une version datée dans votre code : vous vous priveriez des améliorations sans y gagner en stabilité.

Points clés à retenir

• OCR 4 est un VLM fine-tuné, pas un OCR classique par reconnaissance de motifs
• Il produit du Markdown structuré page par page avec images, tableaux et métadonnées
• Le support multilingue couvre 50+ langues, y compris l’écriture manuscrite
• Il surpasse les OCR classiques et les modèles généralistes en précision d’extraction
• L’identifiant mistral-ocr-latest garantit l’accès à la dernière version