AP17 · Format de sortie hostile au modèle

Définition

On exige du modèle un format qui lui demande un effort sans rapport avec la tâche : code échappé dans du JSON, en-têtes de diff à compter d’avance, sortie structurée stricte avant tout raisonnement.

Symptômes observables

• Des erreurs de syntaxe et d’échappement.
• La qualité du code baisse quand on passe à l’appel de fonction.
• Des réessais pour cause de JSON invalide.

Pourquoi c'est nuisible

Le modèle dépense de la capacité sur le format. Un diff oblige à connaître le nombre de lignes modifiées avant d’écrire le code ; du code en JSON impose d’échapper retours à la ligne et guillemets.

Chiffres

• Selon Aider, les quatre modèles testés (Claude 3.5 Sonnet, DeepSeek Coder et des variantes de GPT-4o) codent moins bien quand le code est enveloppé dans du JSON, y compris avec le mode strict d’OpenAI.
• L’effet d’un format imposé sur le raisonnement en général reste contesté : Tam et al. mesurent une baisse, .txt met en cause leur protocole, et les deux camps ont un intérêt dans le débat.

Remèdes du catalogue

• A3 · Sortie structurée — Le modèle raisonne d’abord librement, puis une extraction produit le format attendu ; ou un champ de raisonnement précède la réponse structurée.
• A2 · Outils et interface agent-machine (ACI) — Des formats d’outils proches du texte naturel : le code passe tel quel, sans échappement.

Patterns détournés

• A3 · Sortie structurée

Anti-patterns voisins

• AP16 · Outil piège

Sources

• Building effective agents — Anthropic (E. Schluntz, B. Zhang), 2024-12-19
• LLMs are bad at returning code in JSON — Aider, 2024-08-14
• Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models — Tam et al., arXiv, 2024-08-05
• Say What You Mean: A Response to “Let Me Speak Freely” — .txt (W. Kurt), 2024