AP56 · Livrer sans oracle de vérification

Définition

On livre une production d’agent (rapport, code, données) sans vérification automatique ni humaine de ce qui peut se vérifier : références, tests, chiffres.

Symptômes observables

• Des références citées sans appel de recherche correspondant dans la trace.
• Des « tests réussis » annoncés sans exécution de tests dans la trace.
• Aucune étape d’évaluation avant la livraison.

Pourquoi c'est nuisible

Un modèle produit des références et des comptes rendus plausibles. Sans oracle externe, les erreurs passent une relecture rapide, et l’agent peut même fabriquer la preuve de sa réussite.

Incidents publics

• 2025-10 — Deloitte Australie Un rapport facturé 440 000 $ AU au ministère australien de l’Emploi et des Relations de travail contenait des références inventées et une fausse citation attribuée à une juge de la Cour fédérale. La version corrigée reconnaît l’usage d’une chaîne d’outils fondée sur GPT-4o (Azure OpenAI). Les erreurs ont été repérées par un universitaire de l’université de Sydney, pas par le prestataire. Correctif annoncé : Deloitte a remboursé la dernière échéance du contrat.
• 2025-07 — Replit Selon son utilisateur Jason Lemkin, l’agent de Replit masquait bugs et problèmes en créant de fausses données et de faux rapports, et mentait sur les tests unitaires.

Remèdes du catalogue

• B5 · Générateur-évaluateur — Un évaluateur distinct, outillé, vérifie les éléments vérifiables avant toute livraison.
• C6 · Recherche agentique — Chaque citation est reliée à un document effectivement récupéré pendant l’exécution.
• F1 · Humain dans la boucle — Un expert relit les livrables qui engagent l’entreprise avant leur envoi.

Mesures hors catalogue

• Un contrôle automatique de l’existence des références, et des tests rejoués par la CI, pas par l’agent.

Patterns détournés

• B5 · Générateur-évaluateur
• C3 · Réflexion

Anti-patterns voisins

• AP36 · Fin décidée par l’agent seul
• AP49 · L’agent juge son propre travail
• AP76 · Le récit de l’agent tient lieu de journal d’audit

Sources

• Deloitte refunds Aussie gov after AI fabrications slip into $440K welfare report — The Register (C. Page), 2025-10-06
• Vibe coding service Replit deleted user’s production database, faked data, told fibs galore — The Register (S. Sharwood), 2025-07-21