Analyser les Images Trouvées par la Recherche Web

Aller au-delà du texte avec l’analyse d’images

La recherche web ne se limite pas au texte. Lorsque vous activez le paramètre enable_image_understanding, le modèle Grok peut analyser les images trouvées pendant ses recherches. Cela ouvre des possibilités inédites : interpréter des graphiques, lire des infographies, comprendre des captures d’écran ou analyser des photos d’actualité.

Cette capacité est particulièrement utile pour les cas d’usage où l’information visuelle complète ou remplace le texte, comme l’analyse de tendances à partir de graphiques boursiers, la compréhension de schémas techniques ou l’extraction de données depuis des tableaux publiés sous forme d’images.

Activer la compréhension d’images

L’activation se fait via le paramètre enable_image_understanding dans la configuration de l’outil web_search :

response = client.responses.create(
    model="grok-3",
    input="Montre-moi l'évolution du cours de l'action Tesla cette semaine",
    tools=[{
        "type": "web_search",
        "enable_image_understanding": True
    }]
)

Lorsque ce paramètre est activé, le modèle dispose d’un outil supplémentaire interne nommé view_image. Il peut l’invoquer pour examiner les images rencontrées au cours de sa recherche et en extraire les informations pertinentes.

Fonctionnement technique

Le processus se déroule en plusieurs phases :

1. Le modèle exécute la recherche web classique
2. Parmi les résultats, il identifie les images potentiellement pertinentes
3. Il utilise l’outil view_image pour analyser ces images
4. Il intègre les informations visuelles dans sa réponse finale

Vous n’avez aucune interaction supplémentaire à gérer. Le modèle orchestre l’ensemble de manière autonome.

Combiner filtrage de domaines et analyse d’images

Vous pouvez activer l’analyse d’images en même temps que le filtrage de domaines :

response = client.responses.create(
    model="grok-3",
    input="Résumé visuel des dernières publications sur arxiv en vision par ordinateur",
    tools=[{
        "type": "web_search",
        "allowed_domains": ["arxiv.org"],
        "enable_image_understanding": True
    }]
)

Cas d’usage pertinents

Veille visuelle de marque

Surveillez comment votre marque apparaît visuellement en ligne : logos utilisés, captures d’écran de votre produit, infographies mentionnant votre entreprise.

response = client.responses.create(
    model="grok-3",
    input="Comment la marque Corsen AI est-elle représentée visuellement en ligne ?",
    tools=[{
        "type": "web_search",
        "enable_image_understanding": True
    }]
)

Analyse de données visuelles

Interprétez des graphiques et des tableaux publiés dans des rapports en ligne sans avoir à les télécharger manuellement :

response = client.responses.create(
    model="grok-3",
    input="Analyse les graphiques de croissance du marché IA européen publiés récemment",
    tools=[{
        "type": "web_search",
        "allowed_domains": ["statista.com", "mckinsey.com"],
        "enable_image_understanding": True
    }]
)

Limites à connaître

L’analyse d’images augmente le temps de réponse car le modèle doit traiter des données visuelles en plus du texte. Elle consomme également davantage de tokens en sortie. Activez-la uniquement lorsque l’information visuelle apporte une réelle valeur ajoutée à la réponse.

La qualité de l’analyse dépend aussi de la résolution et de la clarté des images trouvées. Les graphiques à haute résolution avec des étiquettes lisibles donnent de meilleurs résultats que les images floues ou surchargées.

Mise en pratique

Créez un script qui demande à Grok d’analyser les tendances visuelles d’un secteur (par exemple, les graphiques de performance d’un indice boursier ou les infographies d’un rapport sectoriel). Comparez la richesse de la réponse obtenue avec et sans enable_image_understanding.

Points clés à retenir

• Le paramètre enable_image_understanding permet au modèle d’analyser les images des résultats web
• Le modèle utilise en interne l’outil view_image pour examiner les visuels pertinents
• Ce paramètre est combinable avec allowed_domains ou excluded_domains
• L’analyse d’images augmente le temps de traitement et la consommation de tokens
• Cette fonctionnalité est idéale pour la veille visuelle, l’analyse de graphiques et l’extraction de données d’infographies