AP27 · Consigne éparpillée au fil des tours
Famille : Contexte et mémoire
Preuve forte
Noms d'origine : lost in conversation, context clash, underspecified multi-turn instructions
La demande arrive par morceaux ; l’agent s’engage dès le premier et ne revient plus en arrière.
Définition
L’utilisateur précise sa demande au fil de la conversation. L’agent agit dès le premier tour sans consolider ni clarifier, puis s’accroche à ses premières hypothèses quand la suite les contredit.
Symptômes observables
- La même demande réussit quand elle arrive d’un bloc et échoue quand elle arrive par morceaux.
- Des hypothèses posées au premier tour ne sont jamais révisées.
- L’agent pose peu de questions de clarification, ou aucune.
- Sur une même conversation, les réponses varient fortement d’une exécution à l’autre.
Pourquoi c'est nuisible
Le modèle s’engage tôt, et ses premières tentatives, souvent fausses, restent dans le contexte et ancrent la suite. Quand il part dans une mauvaise direction, il ne se rattrape presque jamais. La perte vient surtout d’une instabilité accrue, pas d’une perte d’aptitude.
Un choix défendable quand…
- Une conversation exploratoire où l’utilisateur veut des essais rapides et relit chaque réponse avant de poursuivre.
Chiffres
- Une même consigne distribuée sur plusieurs tours fait perdre 39 % en moyenne sur six tâches de génération, sur plus de 200 000 conversations simulées (Microsoft et Salesforce).
- Sur CRMArena-Pro, la réussite passe d’environ 58 % en un tour à environ 35 % en plusieurs tours.
- Dans les traces de systèmes multi-agents, le non-respect de la spécification explique 11,8 % des échecs et l’absence de demande de clarification 6,8 %.
Remèdes du catalogue
- C2 · Planifier puis exécuter — Consolider la demande en un plan validé avant d’agir.
- F1 · Humain dans la boucle — Quand la demande est incomplète, l’agent pose une question de clarification au lieu de deviner.
- D2 · Notes structurées et plan récité — Un récapitulatif de la demande, mis à jour à chaque précision, est réinjecté à chaque tour.
- D1 · Compaction — Reformuler la demande complète et repartir d’un contexte propre, sans les tentatives précoces.
Mesures hors catalogue
- Évaluer l’agent aussi sur des consignes données par morceaux, pas seulement d’un bloc.
- Avant de passer la main à un autre agent, lui transmettre la spécification complète reformulée.
Patterns détournés
Anti-patterns voisins
Sources
- LLMs Get Lost In Multi-Turn Conversation — Laban, Hayashi, Zhou et Neville, arXiv, 2025-05-09
- CRMArena-Pro — Huang et al., arXiv, 2025-05-24
- Why Do Multi-Agent LLM Systems Fail? — Cemri et al., arXiv, 2025-03-17
Contenu relu le 2026-10-05