AP45 · Latence cumulée des sauts

Définition

Des sauts LLM (agents, juges, reformulations) s’enchaînent en série sans budget de latence, parfois en attendant de façon synchrone que chaque vague de sous-agents ait fini.

Symptômes observables

• La durée totale d’une trace est à peu près la somme des durées de ses étapes : rien ne tourne en parallèle.
• Une latence au 95e centile qui augmente à chaque étape ajoutée.
• Le sous-agent le plus lent dicte la durée de toute la vague.

Pourquoi c'est nuisible

Chaque saut ajoute le délai du premier token et le temps de génération ; en mode synchrone, une vague attend son membre le plus lent.

Chiffres

• Anthropic indique que ses agents principaux exécutent les sous-agents de façon synchrone, ce qui simplifie la coordination mais crée des goulets d’étranglement.
• Microsoft range la latence des sauts multiples parmi les écueils de l’orchestration multi-agent.
• Dans l’enquête de LangChain (décembre 2025, panel de praticiens), la latence est la deuxième barrière citée (20 %), après la qualité.

Remèdes du catalogue

• B3 · Parallélisation — Les sauts indépendants tournent en parallèle au lieu de s’enchaîner.
• F3 · Cascade et routage de modèles — Un petit modèle, plus rapide, sur les sauts intermédiaires ; le grand modèle seulement là où il change le résultat.
• A3 · Sortie structurée — Une sortie structurée dès le premier appel, qui évite les sauts de reformulation.

Mesures hors catalogue

• Un budget de latence par étape, et une exécution asynchrone des sous-agents quand la coordination le permet.

Patterns détournés

• B5 · Générateur-évaluateur
• E1 · Orchestrateur et sous-agents
• E3 · Hiérarchie

Anti-patterns voisins

• AP02 · Multi-agent par défaut
• AP05 · Un seul modèle pour tout

Sources

• How we built our multi-agent research system — Anthropic, 2025-06-13
• AI agent orchestration patterns — Microsoft, Azure Architecture Center, 2026-09-21
• State of Agent Engineering — LangChain, 2025-12