Notation par modèle (LLM-as-judge) — Évaluation de prompts

Le concept

La notation par modèle consiste à utiliser un LLM pour évaluer la sortie d’un autre LLM. Elle répond à un blocage très concret : vous savez évaluer par code ce qui se compare mécaniquement et faire évaluer par un humain ce qui demande du jugement, mais entre les deux s’étend une zone où le code ne sait rien dire et où l’humain coûte trop cher pour être mobilisé sur des centaines de cas. C’est un compromis entre la flexibilité de l’évaluation humaine et la scalabilité de l’évaluation par code.

Quand l’utiliser

La notation par modèle est particulièrement utile quand la réponse correcte n’est pas unique. Une question ouverte admet des dizaines de réponses également valables, et aucune référence figée ne les couvre toutes. Elle l’est tout autant quand la qualité est subjective : le ton d’un message client, son style, sa pertinence par rapport à la demande sont des critères qu’un humain juge en trois secondes et qu’aucune expression régulière n’approche.

Le troisième cas est celui où la comparaison exacte est tout simplement impossible : deux résumés d’un même document peuvent ne partager presque aucun mot tout en étant l’un et l’autre corrects. Reste enfin la situation la plus fréquente, celle où l’évaluation humaine est trop coûteuse à grande échelle. Faire relire deux cents réponses par un expert à chaque itération de prompt n’est pas tenable ; le faire faire par un modèle l’est.

Dans Promptfoo

tests:
  - vars:
      question: "Explique la photosynthèse a un enfant de 8 ans"
    assert:
      - type: llm-rubric
        value: |
          La reponse doit :
          1. Utiliser un vocabulaire simple adapte a un enfant
          2. Expliquer correctement le processus de base
          3. Ne pas contenir d'erreurs scientifiques
          4. Faire moins de 150 mots

Promptfoo enverra la sortie du modèle à un LLM évaluateur qui déterminera si les critères sont remplis. Remarquez la structure de la rubrique : quatre critères numérotés, chacun portant sur un aspect distinct. Le premier concerne la forme, le deuxième et le troisième le fond, le quatrième une contrainte mesurable. Cette séparation n’est pas cosmétique — elle permet de savoir quel critère a échoué plutôt que de recevoir un verdict global inexploitable.

Écrire de bons critères

Toute la qualité d’une notation par modèle tient dans la rédaction de la rubrique, et trois propriétés la distinguent d’une consigne vague.

Un critère doit d’abord être spécifique. « Utilise un vocabulaire adapté à un enfant » indique au juge ce qu’il doit chercher ; « bien écrit » ne lui indique rien et le laisse appliquer ses propres préférences, qui changeront d’un cas à l’autre. Il doit ensuite être mesurable : « fait moins de 150 mots » se vérifie sans discussion, alors que « pas trop long » transforme le juge en arbitre de son propre goût. Il doit enfin être indépendant, c’est-à-dire n’évaluer qu’un seul aspect. Un critère qui exigerait à la fois un vocabulaire simple et l’absence d’erreur scientifique produit un échec dont vous ne saurez jamais lequel des deux volets a fauté.

Écrivez la rubrique comme une consigne destinée à un stagiaire compétent mais qui ne connaît pas votre contexte : tout ce que vous laissez implicite sera comblé par une interprétation qui n’est pas la vôtre.

Ce qu’il faut accepter en contrepartie

Quatre limites accompagnent cette méthode et il vaut mieux les connaître avant de bâtir une stratégie dessus. Le coût d’abord : chaque évaluation nécessite un appel API supplémentaire, ce qui double au minimum le prix d’une campagne et pèse dès que vous itérez plusieurs fois par jour sur un jeu de test volumineux. La cohérence ensuite, car le modèle évaluateur n’est pas toujours cohérent : la même sortie soumise deux fois peut recevoir deux verdicts différents, et ce bruit se confond avec les effets de vos modifications de prompt.

Le biais constitue la troisième limite : un modèle peut favoriser ses propres sorties, ce qui fausse toute comparaison entre deux modèles dont l’un servirait aussi de juge. La complexité ferme la liste, puisque certains critères sont difficiles à évaluer même pour un LLM. Vérifier une affirmation factuelle pointue dans un domaine spécialisé dépasse ce qu’un juge généraliste fait de manière fiable — et un juge qui se trompe avec assurance est le pire des instruments de mesure.

Combiner les approches

Aucune des trois méthodes vues dans ce cours ne suffit seule, et la stratégie la plus robuste les articule selon la nature du critère. Le code prend les critères objectifs — format, longueur, présence de mots-clés — parce qu’il est gratuit, instantané et incapable de changer d’avis. Le LLM prend les critères subjectifs — qualité, pertinence, ton — parce que rien d’autre ne passe à l’échelle sur ces dimensions. L’humain garde la validation finale sur un échantillon, ce qui est le seul moyen de vérifier que les deux premiers ne se trompent pas de concert.

Sur une réponse de support client, cette répartition devient très concrète : le code vérifie qu’un numéro de dossier est présent et que le message tient sous la limite d’affichage, le LLM juge que le ton reste courtois et que la demande posée est bien traitée, et un responsable relit vingt réponses par semaine pour confirmer que l’ensemble tient la route.

Régler son juge

Utilisez un modèle puissant pour l’évaluation, Sonnet ou mieux : économiser sur le juge est une fausse économie, puisque c’est lui qui décide de ce que vous croirez savoir sur votre système. Écrivez des critères détaillés et non ambigus, en appliquant les trois propriétés vues plus haut.

Calibrez ensuite le notateur sur des cas dont vous connaissez le résultat : préparez une poignée de réponses clairement bonnes et une poignée clairement mauvaises, soumettez-les au juge, et vérifiez qu’il les classe comme vous. S’il se trompe sur ces cas évidents, la rubrique est en cause, pas le modèle. Évitez enfin, autant que possible, de faire évaluer un modèle par lui-même : c’est la configuration où le biais d’auto-préférence s’exprime le plus librement.

Points clés à retenir

La notation par modèle couvre la zone où le code ne sait rien juger et où l’humain coûte trop cher.
Elle s’impose pour les réponses non uniques, les critères subjectifs et les reformulations.
Une bonne rubrique aligne des critères spécifiques, mesurables et indépendants les uns des autres.
Coût par appel, incohérence, biais d’auto-préférence et sujets experts en limitent la portée.
Combinez code, LLM et revue humaine sur échantillon, et calibrez toujours le juge sur des cas connus.