Testez vos connaissances : ingénierie de prompts

Le principe fondamental est : un seul changement à la fois, mesure à chaque étape.

Le cycle est :

1. Définir l’objectif
2. Écrire un premier prompt (baseline)
3. Évaluer avec des métriques
4. Appliquer une technique
5. Re-évaluer

C’est important parce que si vous modifiez plusieurs choses en même temps et que le score change, vous ne savez pas quelle modification à eu quel effet. Vous risquez de garder un changement inutile ou de manquer une régression.

C est le plus efficace.

• À est vague (“un truc”, “genre”, “ou quelque chose”) — Claude ne sait pas ce qu’on attend
• B est indirect et hesitant (“Pourrais-tu éventuellement”, “si cela ne te derange pas”) — perte d’espace et d’intention
• C commence par un verbe d’action (“Rédige”), spécifie le format (200 mots), la structure (3 sources) et le sujet précis

Les verbes d’action efficaces : Écris, Rédige, Crée, Génère, Identifie, Compare, Explique. Ils donnent une direction claire des la première phrase.

1. Consignes sur la sortie (output guidelines) : définissent les attributs concrets du résultat — longueur, structure, format, contenu obligatoire, exclusions. À utiliser systématiquement, quel que soit le prompt.

   Exemples : “Maximum 200 mots”, “Format JSON”, “Inclus les sources”, “3 bullet points”.

2. Étapes de raisonnement (process steps) : guident la façon dont Claude doit réfléchir avant de répondre. À utiliser pour les tâches complexes qui demandent un jugement ou une analyse en plusieurs étapes.

   Exemples : “D’abord identifie la cause, puis propose une solution”, “Compare les options selon les critères X, Y, Z avant de recommander”.

Pour les tâches simples (traduction, reformulation), les consignes sur la sortie suffisent. Pour les tâches complexes (diagnostic, prise de décision), combinez les deux.

Les balises XML sont les plus utiles quand le prompt contient des types de contenu différents qui doivent être clairement séparés :

• Contexte volumineux : 20 pages de données + des instructions
• Contenu mixte : du texte + du code + des données structurées
• Multiples variables : un template avec 4-5 variables dynamiques

Exemple concret :

<instructions>
Analyse les logs ci-dessous et identifie la cause du probleme.
</instructions>

<logs_serveur>
[ERROR] Connection refused on port 5432
[WARN] Retrying in 5 seconds...
[ERROR] Max retries exceeded
</logs_serveur>

<contexte_systeme>
Base de donnees : PostgreSQL 15
Derniere maintenance : il y a 3 jours
Changement recent : migration du serveur DB
</contexte_systeme>

Les balises permettent à Claude de distinguer immédiatement ce qu’il doit faire (instructions), ce qu’il doit analyser (logs) et ce qu’il doit savoir (contexte).

• One-shot : un seul exemple d’entrée/sortie dans le prompt. Suffisant pour montrer un format de sortie ou un style.

• Multi-shot : plusieurs exemples (généralement 2-3) couvrant des cas différents. Nécessaire quand la tâche comporte des cas ambigus ou des variations.

Le multi-shot est particulièrement nécessaire pour :

• Le sarcasme et l’ironie : un exemple positif sincère + un exemple sarcastique montre à Claude la différence
• Les cas limites : différents exemples couvrant les cas faciles et les cas difficiles
• Les formats complexes : plusieurs exemples montrent les variations possibles du format

Bonnes pratiques :

• Structurez les exemples avec <sample_input> et <ideal_output>
• Ajoutez une <explication> pour les cas non évidents
• Puisez vos exemples dans les meilleures sorties de vos évaluations
• 2-3 exemples bien choisis valent mieux que 10 exemples similaires