B5 · Générateur-évaluateur

Principe

Un premier LLM génère une réponse. Un second l’évalue selon des critères écrits à l’avance et renvoie un retour précis. La boucle continue jusqu’à ce que l’évaluateur accepte, ou qu’un plafond d’itérations soit atteint.

Le problème qu'il résout

Une génération en une passe est parfois peu fiable, et un modèle qui juge son propre travail a tendance à le trouver bon.

Quand l'utiliser

• Les critères d’évaluation sont clairs et l’affinage apporte une valeur mesurable : traduction littéraire, code avec tests, document soumis à une charte.
• L’évaluateur dispose d’un signal externe : tests, linter, application pilotée dans un navigateur.

Quand l'éviter

• Les critères sont flous : le vérificateur valide sans examiner, ou la boucle oscille.
• Le même agent se relit sans aucun outil de vérification : séparer l’évaluateur et l’outiller, et fixer un plafond d’itérations.

Synonymes par éditeur

• Evaluator-optimizer (Anthropic (2024))
• Generator-verifier (Anthropic (2026))
• Maker-checker / critic loops / reflection loops (Microsoft)
• Review and critique / Iterative refinement / Loop (Google Cloud)
• Generator-critic (« le bureau du rédacteur en chef ») (Google ADK)
• Evaluators and reflect-refine loops (AWS)
• Cross-reflection (CSIRO Data61)
• Reflection à deux agents (A. Ng)

Patterns voisins

• C3 · Réflexion
• B4 · Échantillonnage et vote
• B6 · Graphe d’états sur mesure

Sources

• Harness design for long-running application development — Anthropic (P. Rajasekaran), 2026-03-24
• Building multi-agent systems: when and how to use them — Anthropic (C. Phillips), 2026-01-23
• Multi-Agents: What’s Actually Working — Cognition (W. Yan), 2026-04-22
• Why Do Multi-Agent LLM Systems Fail? — M. Cemri et al., 2025