Un workflow d'évaluation type

Avant d’écrire la moindre ligne de pipeline, il faut avoir le schéma d’ensemble en tête. Un workflow d’évaluation de prompts suit cinq étapes, toujours les mêmes — et une fois la boucle comprise, chaque leçon de cette section viendra simplement en implémenter un maillon. Déroulons-la sur un exemple minimal.

Étape 1 : Rédiger un prompt

Tout commence par un prompt initial, même volontairement basique :

prompt = f"""
Réponds a la question de l'utilisateur :

{question}
"""

Remarquez la forme : c’est un template, avec une variable {question} qui sera remplie à chaque exécution. C’est ce qui rend le prompt évaluable — on va pouvoir le confronter à des dizaines d’entrées différentes, pas à une seule. Et inutile de chercher la perfection à ce stade : la version 1 n’est qu’un point de départ à mesurer.

Étape 2 : Créer un jeu de données d’évaluation

Il faut ensuite une collection d’entrées de test. Notre template n’a qu’une variable, la question ; le jeu de données est donc une liste de questions variées :

• Combien font 2+2 ?
• Comment préparer du porridge ?
• À quelle distance se trouve la Lune ?

La variété est le critère qui compte : du calcul, de la procédure, du factuel — chaque famille de questions peut révéler une faiblesse différente du prompt. Trois entrées suffisent pour l’exemple ; en pratique, on en voudra davantage, et la leçon dédiée montrera comment générer ce jeu de données automatiquement.

Étape 3 : Soumettre à Claude

Le pipeline fusionne ensuite chaque question du jeu de données avec le template, envoie chaque prompt complet à Claude et collecte les réponses. À la sortie de cette étape, on dispose de paires : chaque entrée de test, accompagnée de la réponse que le prompt lui a value.

Étape 4 : Passer par un évaluateur

Reste à noter. Chaque paire question-réponse est soumise à un évaluateur qui lui attribue un score, généralement de 1 à 10 — nous verrons deux familles d’évaluateurs, par modèle et par code. La moyenne des scores résume la performance du prompt en un chiffre : des scores de 10, 4 et 9 donnent une moyenne de 7,66. Ce chiffre seul ne dit pas grand-chose ; sa valeur apparaît à l’étape suivante, quand il devient un point de comparaison.

Étape 5 : Modifier le prompt et recommencer

Avec ce score de référence établi, la boucle peut tourner : modifiez le prompt, relancez le processus, comparez.

prompt = f"""
Réponds a la question de l'utilisateur :

{question}

Réponds avec des details suffisants.
"""

Si le prompt v1 obtient 7,66 et le v2 obtient 8,7, vous détenez une preuve objective que l’ajout de « Réponds avec des détails suffisants » a amélioré la performance — sur l’ensemble du jeu de test, pas sur un exemple isolé. Et si le score avait baissé, c’est le v1 qu’on aurait gardé : la boucle protège autant qu’elle améliore, en interceptant les modifications qui dégradent sans qu’on s’en aperçoive.

C’est ce cycle — rédiger, tester, noter, comparer, itérer — que les prochaines leçons vont outiller pièce par pièce, du jeu de données généré par Claude jusqu’aux évaluateurs automatiques.

Points clés à retenir

• Cinq étapes invariables : prompt template → jeu de données → exécution → notation → itération
• Le prompt est un template à variables : c’est ce qui permet de le tester sur des entrées multiples
• Le jeu de données doit varier les familles d’entrées — chacune peut révéler une faiblesse différente
• La moyenne des scores résume une version ; sa vraie valeur est la comparaison entre versions
• La boucle prouve les améliorations et intercepte les régressions — plus de modifications à l’aveugle