Workflow d'évaluation type

Avant d’écrire du code, prenons la vue d’ensemble. Un workflow d’évaluation de prompts suit une approche systématique — toujours les cinq mêmes étapes — pour mesurer et améliorer objectivement vos prompts. Il existe de nombreux outils open source et payants qui outillent ce processus, mais comprendre la mécanique de base vous permet de commencer simplement et de monter en échelle : c’est ce pipeline minimal que nous construirons nous-mêmes dans les prochaines leçons.

Étape 1 : Rédiger le prompt initial

Commencez par un prompt basique que vous voulez améliorer :

prompt = f"""
Veuillez repondre a la question de l'utilisateur :

{question}
"""

Notez la forme : un template, avec une variable {question} remplie à chaque exécution — c’est ce qui permettra de le confronter à des dizaines d’entrées différentes. C’est votre base de référence, et inutile de la peaufiner : vous ne saurez pas si elle est efficace tant que vous ne l’aurez pas évaluée avec une méthodologie objective.

Étape 2 : Créer un jeu de données d’évaluation

Votre jeu de données contient des exemples d’entrées que vous injecterez dans votre prompt. Assemblez ces exemples manuellement ou générez-les avec Claude — nous verrons les deux. En production, vous pourriez avoir des centaines ou des milliers d’enregistrements, mais commencer avec trois questions suffit :

• Combien font 2+2 ?
• Comment préparer des flocons d’avoine ?
• À quelle distance se trouve la Lune ?

Remarquez la variété volontaire : du calcul, de la procédure, du factuel. Chaque famille d’entrées peut révéler une faiblesse différente du prompt — un jeu de données monotone ne teste qu’un seul angle.

Étape 3 : Passer dans Claude

Prenez chaque question du jeu de données, fusionnez-la avec votre modèle de prompt, puis envoyez chaque prompt complet à Claude et collectez les réponses. À la sortie : des paires entrée/réponse, la matière première de la notation.

Étape 4 : Passer dans un évaluateur

L’étape cruciale : noter objectivement les réponses. Chaque paire question-réponse est soumise à un évaluateur qui attribue un score, généralement de 1 à 10 :

• 10 = Réponse parfaite, rien à améliorer
• 4 = Marge d’amélioration évidente
• 1 = Réponse médiocre ou incorrecte

Calculez la moyenne des scores pour obtenir une métrique de performance globale. Ce chiffre isolé ne dit pas grand-chose — sa valeur est comparative : c’est l’étalon qui permettra de juger chaque modification.

Étape 5 : Modifier le prompt et recommencer

Avec votre score de référence établi, itérez. Ajoutez des instructions plus spécifiques :

prompt = f"""
Veuillez repondre a la question de l'utilisateur :

{question}

Repondez avec suffisamment de detail.
"""

Refaites passer ce nouveau prompt dans le pipeline complet — même jeu de données, même évaluateur, pour que la comparaison soit honnête — puis comparez les scores pour déterminer quelle version est la meilleure.

Notation et itération

Dans cet exemple :

• Prompt v1 : score de 7,66
• Prompt v2 : score de 8,7

Le score plus élevé du v2 indique que l’ajout de « Répondez avec suffisamment de détail » a amélioré la performance — sur l’ensemble du jeu de test, pas sur une impression. Et le raisonnement vaut dans les deux sens : si le v2 avait obtenu 6,9, vous auriez gardé le v1 en sachant précisément pourquoi. Cette approche systématique vous donne un moyen objectif de mesurer les améliorations plutôt que de vous fier au jugement subjectif — et elle intercepte les régressions qu’aucune relecture ne voit.

Points clés à retenir

• Cinq étapes invariables : prompt template → jeu de données → exécution → notation → itération
• Le prompt initial est une base de référence à mesurer, pas à peaufiner
• Variez les familles d’entrées : chacune peut révéler une faiblesse différente
• La moyenne des scores n’a de sens que comparée — même jeu de données, même évaluateur entre versions
• Le pipeline prouve les gains (7,66 → 8,7) et intercepte les régressions invisibles à l’œil