AP41 · Débat qui converge vers l’erreur
Famille : Boucle, arrêt et orchestration
Preuve forte
Noms d'origine : conformity collapse, premature consensus, multi-agent debate without a stopping criterion
Des agents débattent pour se corriger et finissent alignés sur la réponse la plus assurée, même fausse.
Définition
On fait débattre plusieurs agents en espérant qu’ils se corrigent. Ils s’alignent en fait sur l’avis majoritaire ou le plus assuré, et le groupe n’a souvent aucun critère de fin.
Symptômes observables
- Des réponses justes au premier tour deviennent fausses aux tours suivants.
- Un consensus atteint très vite.
- Des justifications qui recopient celles des pairs.
- Un résultat final qui ne fait pas mieux qu’un vote sur les réponses initiales.
Pourquoi c'est nuisible
Les modèles sont sycophantes et conformistes : un agent persuasif, ou compromis, entraîne les autres. Le débat n’ajoute pas d’information, il redistribue la confiance, et le conformisme croît avec la durée de l’échange et la taille de la majorité.
Un choix défendable quand…
- Une question ouverte où l’on cherche des arguments plutôt qu’une réponse, et où un humain tranche.
Chiffres
- Les modèles passent souvent d’une bonne à une mauvaise réponse sous l’effet du raisonnement de leurs pairs, même quand les modèles forts sont majoritaires (préprint de septembre 2025).
- Le conformisme croît avec la durée de l’interaction et la taille de la majorité ; une persona affirmée et une réflexion individuelle le réduisent (ICLR 2025).
- Sur 7 bancs d’essai, le vote majoritaire explique l’essentiel du gain attribué au débat (NeurIPS 2025).
Remèdes du catalogue
- B4 · Échantillonnage et vote — Des réponses indépendantes, puis un vote, sans aucun échange entre les agents.
- E5 · Conversation de groupe et débat — Si le débat reste utile : premier tour à l’aveugle, auteurs anonymisés, nombre de tours limité, et un juge qui note les arguments plutôt que la majorité.
- B5 · Générateur-évaluateur — Quand un oracle externe existe (tests, calcul, source), c’est lui qui tranche, pas le consensus.
Mesures hors catalogue
- Des modèles de familles différentes dans le groupe.
Patterns détournés
Anti-patterns voisins
Sources
- Talk Isn’t Always Cheap — Wynn, Satija et Hadfield, arXiv, 2025-09-05
- Do as We Do, Not as You Think — Weng, Chen et Wang, ICLR 2025, 2025-01
- Debate or Vote — Choi, Zhu et Li, NeurIPS 2025, 2025-08
- MAD-Spear — Cui et Du, arXiv, 2025-07-17
Contenu relu le 2026-10-05