B5 · Générateur-évaluateur
Famille : Workflows
Un modèle produit, un autre évalue selon des critères explicites, et la boucle recommence jusqu’à acceptation.
Principe
Un premier LLM génère une réponse. Un second l’évalue selon des critères écrits à l’avance et renvoie un retour précis. La boucle continue jusqu’à ce que l’évaluateur accepte, ou qu’un plafond d’itérations soit atteint.
Le problème qu'il résout
Une génération en une passe est parfois peu fiable, et un modèle qui juge son propre travail a tendance à le trouver bon.
Quand l'utiliser
- Les critères d’évaluation sont clairs et l’affinage apporte une valeur mesurable : traduction littéraire, code avec tests, document soumis à une charte.
- L’évaluateur dispose d’un signal externe : tests, linter, application pilotée dans un navigateur.
Quand l'éviter
- Les critères sont flous : le vérificateur valide sans examiner, ou la boucle oscille.
- Le même agent se relit sans aucun outil de vérification : séparer l’évaluateur et l’outiller, et fixer un plafond d’itérations.
Pièges fréquents
Les anti-patterns qui détournent ce pattern, les mieux établis d'abord. Chaque fiche décrit les symptômes, les incidents publics et les remèdes.
Boucle, arrêt et orchestration
- AP45 · Latence cumulée des sauts — Des appels LLM enchaînés en série, sans budget de latence : la réponse arrive après la somme de toutes les étapes.
Vérification et évaluation
- AP56 · Livrer sans oracle de vérification — Les références ont l’air vraies et les tests sont « réussis » : personne n’a vérifié ni les unes ni les autres.
- AP49 · L’agent juge son propre travail — Le même agent produit et note : il trouve presque toujours son travail bon.
- AP50 · Oracle visible et modifiable par l’agent — L’agent voit ou peut réécrire ce qui le note, et finit par optimiser la note plutôt que la tâche.
- AP48 · Juge LLM non validé — Un LLM note les sorties, et personne n’a vérifié qu’il note comme un expert humain.
- AP51 · Tests verts comme seul critère de fin — La batterie de tests passe, donc c’est fini : sauf que la revue refuse la PR.
Supervision, exploitation et gouvernance
- AP77 · Régressions silencieuses au changement — Le modèle, le prompt ou l’infrastructure change, et seuls les utilisateurs voient la qualité baisser.
Synonymes par éditeur
- Evaluator-optimizer (Anthropic (2024))
- Generator-verifier (Anthropic (2026))
- Maker-checker / critic loops / reflection loops (Microsoft)
- Review and critique / Iterative refinement / Loop (Google Cloud)
- Generator-critic (« le bureau du rédacteur en chef ») (Google ADK)
- Evaluators and reflect-refine loops (AWS)
- Cross-reflection (CSIRO Data61)
- Reflection à deux agents (A. Ng)
Patterns voisins
Sources
- Harness design for long-running application development — Anthropic (P. Rajasekaran), 2026-03-24
- Building multi-agent systems: when and how to use them — Anthropic (C. Phillips), 2026-01-23
- Multi-Agents: What’s Actually Working — Cognition (W. Yan), 2026-04-22
- Why Do Multi-Agent LLM Systems Fail? — M. Cemri et al., 2025
Contenu relu le 2026-10-02