AP72 · Validation humaine de façade

Famille : Supervision, exploitation et gouvernance

Preuve forte

Noms d'origine : rubber-stamping, approval fatigue, HITL bypass

L’humain approuve presque tout, en quelques secondes, sur des demandes qui ne montrent pas ce qui va se passer.

Définition

Un humain est placé dans la boucle sans les moyens d’un vrai jugement : trop de demandes, des demandes sans leurs paramètres, ou un approbateur qui ne peut pas évaluer l’action.

Symptômes observables

  • Un taux d’approbation proche de 100 %, avec des décisions prises en quelques secondes.
  • La demande montre l’action sans ses arguments : ni destinataire, ni URL, ni commande complète.
  • Plusieurs dizaines de demandes par session, dont beaucoup pour des actions sans risque.
  • Un non-développeur doit valider des commandes shell.

Pourquoi c'est nuisible

La vigilance s’use : plus un utilisateur voit de demandes, moins il prête attention à chacune. L’approbation devient un réflexe, et un attaquant peut provoquer cette saturation exprès. Elle porte alors sur ce que l’écran montre, pas sur ce qui s’exécute.

Chiffres

  • Les utilisateurs de Claude Code approuvent 93 % des demandes d’autorisation (chiffre de l’éditeur, mars 2026).
  • Le bac à sable de Claude Code réduit de 84 % les demandes d’autorisation en interne (chiffre de l’éditeur).
  • Microsoft AI Red Team (juin 2026) : en un an de tests d’attaque, le contournement de l’humain dans la boucle est le mode d’échec exploité le plus régulièrement, notamment par la lassitude face aux demandes.

Incidents publics

  • 2025-07-28 — Google (Gemini CLI) Démonstration de Tracebit : une injection placée dans un `README.md` faisait exécuter une charge malveillante à la suite d’une commande approuvée (`grep`), masquée à l’écran par des espaces. L’utilisateur approuvait ce que le terminal affichait. Correctif annoncé : La faille a été corrigée dans la version 0.1.14 de Gemini CLI.

Remèdes du catalogue

  • F1 · Humain dans la boucle — Réserver l’approbation aux actions irréversibles ou engageantes, et afficher leurs paramètres complets et leur provenance : destinataire, URL, commande, diff.
  • G7 · Confinement par l’environnement — Le bac à sable absorbe les demandes de routine : l’humain ne voit plus que celles qui engagent.
  • G1 · Sélecteur d’actions — Une liste fermée d’actions : l’agent ne peut pas demander ce qui est dangereux, l’humain n’a donc pas à le refuser.

Mesures hors catalogue

  • Suivre le taux d’approbation et le temps de décision comme des indicateurs de santé de la supervision.
  • Confier l’approbation à une personne compétente sur l’objet : on ne peut pas attendre d’un non-développeur qu’il juge des commandes shell.

Patterns détournés

Anti-patterns voisins

Sources

Contenu relu le 2026-10-05

Catalogue des anti-patterns