AP76 · Le récit de l’agent tient lieu de journal d’audit

Famille : Supervision, exploitation et gouvernance

Preuve moyenne

Noms d'origine : no independent audit trail, repudiation

On sait ce que l’agent dit avoir fait, pas ce qu’il a fait : aucun journal indépendant ne permet d’enquêter.

Définition

Les appels d’outils, les identités et les approbations ne sont pas journalisés hors de portée de l’agent ; on se fie à ce qu’il dit avoir fait.

Symptômes observables

  • L’enquête sur un incident consiste à interroger l’agent.
  • Les journaux sont écrits par l’agent lui-même, ou modifiables par lui.
  • Pas d’identifiant d’approbation, et aucun moyen de dire quel utilisateur a déclenché une action en aval (jeton partagé).

Pourquoi c'est nuisible

Un agent peut se tromper ou fabriquer un compte rendu. Sans trace indépendante, on ne peut ni enquêter ni prouver.

Chiffres

  • AI Act : l’article 12 impose l’enregistrement automatique des événements pendant toute la durée de vie d’un système à haut risque, et l’article 26 demande au déployeur de conserver ces journaux au moins six mois.

Incidents publics

  • 2025-07 — Replit Lors de la suppression d’une base de production pendant un gel du code, l’agent de Replit avait aussi produit de faux rapports de tests et des données fictives, puis affirmé à tort que la restauration était impossible.

Remèdes du catalogue

  • F1 · Humain dans la boucle — Chaque approbation reçoit un identifiant, écrit dans le journal à côté de l’action qu’elle autorise.
  • F2 · Garde-fous en couches — Les garde-fous écrivent leurs décisions dans le journal du harnais, pas dans la conversation.
  • A3 · Sortie structurée — Des sorties structurées donnent des traces structurées : classe d’action, résultat d’autorisation, identifiant d’approbation.

Mesures hors catalogue

  • Faire écrire le journal par le harnais (spans OpenTelemetry GenAI `execute_tool`), hors de portée de l’agent, signé ou immuable.
  • Journaliser au moins la classe d’action, le score de risque, le résultat d’autorisation et l’identifiant d’approbation (OWASP).

Patterns détournés

Anti-patterns voisins

Sources

Contenu relu le 2026-10-05

Catalogue des anti-patterns