Introduction à l'évaluation de prompts

Prompt engineering vs prompt évaluation

Vous avez appris à écrire des prompts efficaces. Mais comment savez-vous qu’un prompt est réellement meilleur qu’un autre ? C’est là que l’évaluation de prompts entre en jeu.

• Le prompt engineering consiste à écrire et affiner des instructions pour Claude
• L’évaluation de prompts consiste à mesurer objectivement la qualité des réponses produites

L’un sans l’autre ne sert à rien. Un prompt qui “à l’air bien” peut s’effondrer sur des cas limites. Un pipeline d’évaluation sans bon prompt ne produira que des scores bas.

Les trois approches après avoir écrit un prompt

Quand vous avez rédige un prompt, vous avez trois options :

1. Tester une seule fois

Vous envoyez une requête, la réponse semble correcte, vous déployez.

Le problème : Claude est non-déterministe. Une seule réponse ne prouve rien. Votre prompt peut très bien fonctionner sur “Quelle est la capitale de la France ?” et échouer lamentablement sur “Quel est le plus petit pays d’Europe par population ?“.

2. Tester quelques fois à la main

Vous essayez 5-10 requêtes différentes, vous vérifiez visuellement. C’est mieux, mais :

• Vous êtes biaisé : vous testez inconsciemment les cas que votre prompt gère bien
• Vous ne pouvez pas comparer deux versions de prompt objectivement
• Vous ne détectez pas les régressions quand vous modifiez le prompt

3. Passer par un pipeline d’évaluation

Vous créez un jeu de données de test, vous faites tourner votre prompt sur chaque cas, et vous notez automatiquement les résultats. C’est la seule approche qui fonctionne à grande échelle.

Pourquoi les développeurs tombent dans le piège

Le piège classique se referme toujours de la même façon, et il commence par un succès. Vous écrivez un prompt, vous le testez sur deux ou trois exemples, ça marche — vous déployez. Puis les utilisateurs réels arrivent, avec leurs requêtes que vous n’aviez pas imaginées : formulations ambiguës, cas limites, demandes hors périmètre. Le modèle produit des réponses médiocres ou incorrectes, les remontées s’accumulent, et vous voilà à corriger le prompt à la main — en cassant au passage un comportement qui fonctionnait, sans le savoir, puisque rien ne le mesurait. Vous retestez sur deux ou trois exemples, ça remarche, vous redéployez… et le cycle recommence.

Ce qui rend ce cycle si frustrant, c’est qu’à aucun moment vous ne savez si le prompt s’améliore réellement : chaque correction est un pari, chaque déploiement une découverte. L’évaluation systématique brise exactement cela — elle remplace « ça a l’air de marcher » par un score mesuré sur un jeu de cas représentatifs, avant la production.

L’approche évaluation-first

L’idée est simple : avant de toucher au prompt, définissez comment vous allez mesurer son succès.

Étape 1 : Identifier les critères de qualité

Que signifie “bonne réponse” pour votre cas d’usage ?

• Exactitude : les faits sont-ils corrects ?
• Format : la sortie respecte-t-elle le format attendu ?
• Complétude : tous les points demandes sont-ils couverts ?
• Ton : le style est-il adapté au contexte ?
• Sécurité : le modèle refuse-t-il les requêtes hors scope ?

Étape 2 : Créer un jeu de test représentatif

Un ensemble de cas d’usage réels couvrant :

• Les cas normaux (80% du trafic)
• Les cas limites (edge cases)
• Les cas adverses (tentatives de contournement)

Étape 3 : Automatiser la notation

Utiliser un système de notation (code, modèle AI, ou humain) pour évaluer chaque réponse sur vos critères.

Étape 4 : Itérer avec confiance

Quand vous modifiez votre prompt, relancez l’évaluation. Le score monte ? Vous avez améliore. Il baisse ? Vous avez casse quelque chose. Pas de doute, pas de débat — des chiffres.

Ce que cette section va couvrir

Dans les prochaines leçons, vous allez :

1. Mettre en place un workflow d’évaluation complet
2. Générer des jeux de test automatiquement avec Claude
3. Exécuter l’évaluation sur votre prompt
4. Implémenter un système de notation par modèle pour automatiser le scoring

À la fin de cette section, vous aurez un pipeline d’évaluation réutilisable pour n’importe quel projet avec Claude.