Support des images

Les capacités de vision de Claude permettent d’inclure des images dans les messages et de lui demander de les analyser de multiples façons : description du contenu, comparaison d’images, comptage d’objets, analyse visuelle complexe, etc.

Limites et spécifications techniques

Avant de commencer, un point du tableau ci-dessous mérite plus d’attention que les autres : la ligne des tokens. Une image se paie, et son prix dépend de ses dimensions — environ un token pour 750 pixels. Une photo de smartphone en pleine résolution coûte ainsi plusieurs milliers de tokens là où une version redimensionnée à 1000 pixels de large en coûte quelques centaines, pour une qualité d’analyse identique dans la plupart des cas. Redimensionner avant d’envoyer est l’optimisation la plus rentable de cette leçon.

Envoyer une image à Claude

Pour inclure une image, on ajoute un bloc image dans le message utilisateur, à côté des blocs texte. Voici la structure :

import base64

# Charger et encoder l'image en base64
with open("image.png", "rb") as f:
    image_bytes = base64.standard_b64encode(f.read()).decode("utf-8")

# Construire le message avec image + texte
add_user_message(messages, [
    # Bloc image
    {
        "type": "image",
        "source": {
            "type": "base64",
            "media_type": "image/png",
            "data": image_bytes,
        }
    },
    # Bloc texte
    {
        "type": "text",
        "text": "Que voyez-vous dans cette image ?"
    }
])

La conversation fonctionne exactement comme avec du texte seul : le serveur envoie un message utilisateur contenant les blocs image et texte, et Claude répond avec son analyse.

Techniques de prompting pour les images

La clé pour obtenir de bons résultats avec les images est d’appliquer les mêmes techniques de prompt engineering qu’avec le texte — et ce n’est pas un slogan, c’est le constat qui structure toute la leçon. L’erreur classique consiste à croire que la vision est une capacité à part, qui aurait ses propres règles : en réalité, un prompt vague produit une analyse vague, avec ou sans image. Un prompt simple donne souvent des résultats médiocres.

Par exemple, demander simplement “Combien de billes y a-t-il dans cette image ?” peut renvoyer un compte incorrect.

On peut améliorer nettement la précision en :

• Fournissant des directives détaillées et des étapes d’analyse
• Utilisant des exemples one-shot ou multi-shot
• Décomposant les tâches complexes en sous-étapes

Analyse étape par étape

Plutôt qu’une question simple, on fournit à Claude une méthodologie :

Analyze this image of marbles and determine the exact count using this methodology:
1. Begin by identifying each unique marble one at a time. Assign each a number
   as you identify it.
2. Verify your result by counting with a different method. Start from the
   bottom-left corner and work row by row, from left to right.

What is the exact, verified number of marbles in this image?

Exemples one-shot

On peut aussi améliorer la précision en fournissant des exemples dans le message. On inclut une image avec un résultat connu, on donne la bonne réponse, puis on pose la question sur l’image cible. Cela donne à Claude un point de référence pour le type d’analyse attendu.

Cas pratique : évaluation du risque incendie

Voici une application concrète : l’automatisation des évaluations de risque incendie pour l’assurance habitation. Au lieu d’envoyer des inspecteurs sur chaque propriété, les assureurs peuvent utiliser des images satellite et l’analyse de Claude.

Le système analyse les images satellite pour identifier :

• Végétation dense et arbres serrés près de la résidence
• Accès difficiles pour les services d’urgence
• Branches surplombant la résidence

Plutôt qu’un prompt simpliste (“donne un score de risque incendie”), un prompt bien structuré décompose l’analyse en étapes spécifiques :

Analyze the attached satellite image of a property with these specific steps:

1. Residence identification: Locate the primary residence on the property
   by looking for:
   - The largest roofed structure
   - Typical residential features (driveway connection, regular geometry)
   - Distinction from other structures (garages, sheds, pools)

2. Tree overhang analysis: Examine all trees near the primary residence:
   - Identify any trees whose canopy extends directly over any portion of
     the roof
   - Estimate the percentage of roof covered by overhanging branches
     (0-25%, 25-50%, 50-75%, 75%+)
   - Note particularly dense areas of overhang

3. Fire risk assessment: For any overhanging trees, evaluate:
   - Potential wildfire vulnerability (ember catch points, continuous fuel
     paths to structure)
   - Proximity to chimneys, vents, or other roof openings if visible
   - Areas where branches create a "bridge" between wildland vegetation
     and the structure

4. Defensible space identification: Assess the property's overall
   vegetative structure:
   - Identify if trees connect to form a continuous canopy over or near
     the home
   - Note any obvious fuel ladders (vegetation that can carry fire from
     ground to tree to roof)

5. Fire risk rating: Based on your analysis, assign a Fire Risk Rating
   from 1-4:
   - Rating 1 (Low Risk): No tree branches overhanging the roof, good
     defensible space
   - Rating 2 (Moderate Risk): Minimal overhang (<25% of roof), some
     separation between canopies
   - Rating 3 (High Risk): Significant overhang (25-50% of roof),
     connected canopies
   - Rating 4 (Severe Risk): Extensive overhang (>50% of roof), dense
     vegetation against structure

For each item above (1-5), write one sentence summarizing your findings,
with your final response being the numerical rating.

Ce prompt détaillé guide Claude à travers une analyse systématique, ce qui donne des évaluations bien plus précises qu’une simple requête.

À retenir

Les mêmes techniques de prompting qui fonctionnent pour le texte s’appliquent aux images. Investissez du temps dans la rédaction de prompts détaillés et structurés plutôt que de vous reposer sur des questions simples si vous voulez des résultats fiables.