Comprendre et analyser des images

La vision de Grok

Grok ne se limite pas au texte. Les modèles grok-4 et supérieurs intègrent des capacités de vision qui leur permettent d’analyser des images fournies en entrée. Vous pouvez soumettre une photo, une capture d’écran, un graphique ou tout autre visuel, et Grok vous en donnera une description détaillée, une analyse ou une réponse contextuelle.

Comment soumettre une image

Sur grok.com

L’envoi d’images sur l’interface web est simple :

1. Cliquez sur le bouton d’attachment dans le champ de saisie
2. Sélectionnez l’image depuis votre appareil
3. Ajoutez éventuellement un message textuel pour guider l’analyse
4. Envoyez votre message

Sur mobile, vous pouvez également prendre une photo directement avec l’appareil photo de votre smartphone et l’envoyer à Grok pour analyse.

Via l’API

Pour les développeurs, l’envoi d’images se fait via un tableau mixte d’objets dans le champ input :

response = client.responses.create(
    model="grok-4.20-reasoning",
    input=[
        {"type": "input_image", "image_url": "https://exemple.com/photo.jpg"},
        {"type": "input_text", "text": "Décris cette image en détail"}
    ]
)

Les images peuvent être fournies sous forme d’URL publique ou encodées en base64.

Cas d’usage de la vision

Description d’images

Grok peut décrire le contenu d’une image avec un niveau de détail impressionnant : les objets présents, les couleurs, la composition, l’ambiance, les personnes et leurs expressions.

Décris cette photographie en détail.
Quel est le sujet principal et quels éléments
secondaires observes-tu ?

OCR (extraction de texte)

L’une des utilisations les plus pratiques est l’extraction de texte à partir d’images. Grok peut lire et retranscrire le texte présent sur :

• Des photos de documents
• Des captures d’écran
• Des panneaux et affiches
• Des menus de restaurant
• Des cartes de visite

Extrais tout le texte visible sur cette image
et structure-le de manière lisible.

Analyse de graphiques et diagrammes

Grok peut interpréter des graphiques statistiques, des diagrammes de flux et des schémas techniques :

Analyse ce graphique. Quelles sont les tendances principales
et quelles conclusions peut-on en tirer ?

Comparaison d’images

Vous pouvez soumettre plusieurs images dans une même requête pour que Grok les compare :

Voici deux versions d'un design. Quelles sont les
différences principales entre les deux ?

Analyse d’interfaces utilisateur

Pour les designers et les développeurs, Grok peut analyser des captures d’écran d’interfaces :

Analyse cette capture d'écran d'application mobile.
Quels problèmes d'ergonomie identifies-tu ?

Niveaux de détail

Via l’API, vous pouvez contrôler le niveau de détail de l’analyse d’image avec le paramètre detail :

• auto : le modèle choisit le niveau approprié (par défaut)
• low : analyse rapide et économique, utilise moins de tokens
• high : analyse détaillée et approfondie, consomme plus de tokens

Le choix du niveau dépend de votre besoin : pour un simple OCR, le mode low peut suffire ; pour une analyse artistique détaillée, préférez le mode high.

Contraintes techniques

• Taille maximale : 20 MiB par image
• Formats acceptés : JPG, JPEG et PNG uniquement
• Nombre : pas de limite sur le nombre d’images par requête
• Consommation : les images consomment entre 256 et 1 792 tokens selon leur taille et le niveau de détail

Bonnes pratiques

• Cadrez bien votre demande : précisez ce que vous cherchez dans l’image plutôt que de demander une description générale
• Optimisez la taille : redimensionnez les images volumineuses pour accélérer le traitement
• Combinez texte et image : un message textuel accompagnant l’image améliore significativement la pertinence de la réponse
• Utilisez le bon format : JPG pour les photos, PNG pour les captures d’écran et les images avec du texte

Points clés à retenir

• Les modèles grok-4 et supérieurs peuvent analyser des images soumises en entrée
• Les cas d’usage incluent la description, l’OCR, l’analyse de graphiques et la comparaison
• Les images peuvent être fournies par URL ou en base64
• Le paramètre de détail permet de contrôler le compromis entre précision et coût
• Taille maximale de 20 MiB, formats JPG et PNG uniquement