AP37 · Agir sans vérifier l’effet
Famille : Boucle, arrêt et orchestration
Preuve forte
Noms d'origine : fire-and-forget actions, no post-condition check
Une action échoue en silence, et l’agent enchaîne comme si elle avait réussi.
Définition
L’agent enchaîne des actions en supposant que la précédente a réussi. Il ne lit pas son résultat et ne contrôle pas l’état du système entre deux écritures.
Symptômes observables
- Un code de retour non nul ou une sortie d’erreur, suivi d’actions qui dépendent du succès de cette étape.
- Aucun appel de lecture ou de contrôle entre deux écritures dans les traces.
- Un message de réussite qu’aucune observation de la trace ne justifie.
Pourquoi c'est nuisible
Un échec silencieux au début d’une chaîne se propage. Chaque action suivante aggrave les dégâts, et l’agent rend compte d’une réussite qu’il n’a pas constatée.
Un choix défendable quand…
- Une suite de lectures sans effet de bord, où une étape ratée ne peut rien abîmer.
Chiffres
- Anthropic pose qu’un agent doit obtenir à chaque étape la vérité terrain de l’environnement, comme le résultat d’un appel d’outil ou de l’exécution du code.
- Dans une taxonomie des erreurs d’agents (préprint de septembre 2025), une seule erreur racine se propage dans toutes les décisions suivantes.
Incidents publics
- 2025-07 — Google En réorganisant des fichiers, Gemini CLI voit échouer la création d’un dossier, puis continue comme si le dossier existait. Les déplacements successifs s’écrasent les uns les autres et les fichiers sont perdus.
Remèdes du catalogue
- A2 · Outils et interface agent-machine (ACI) — Des outils qui renvoient une erreur explicite et bloquante : un échec arrête la chaîne au lieu de passer inaperçu.
- G2 · Plan figé avant contact — Un plan figé dont chaque étape porte une postcondition, contrôlée avant de passer à la suivante.
- B5 · Générateur-évaluateur — Un vérificateur relit l’état du système après chaque écriture et le compare à l’effet attendu.
Mesures hors catalogue
- Des postconditions codées dans l’outil lui-même.
- Un mode d’essai à blanc avant les opérations en masse.
- Aucune opération destructive sans sauvegarde préalable.
Patterns détournés
Anti-patterns voisins
Sources
- Incident 1178: Google Gemini CLI Reportedly Deletes User Files After Misinterpreting Command Sequence — AI Incident Database, 2025-07-21
- Building effective agents — Anthropic, 2024-12-19
- Where LLM Agents Fail and How They can Learn From Failures — Zhu et al., arXiv, 2025-09-29
Contenu relu le 2026-10-05