Nouveau terme : context rot
2025-07-14 · Éditeur : Chroma · Domaine : Intelligence Artificielle
Le context rot (dégradation du contexte) désigne la baisse de fiabilité d'un modèle à mesure que son contexte s'allonge, même sur des tâches simples et bien en deçà de la taille maximale de sa fenêtre.
Ce qui change
- Une grande fenêtre de contexte n'est plus synonyme de contexte bien exploité.
- Les tests « aiguille dans une botte de foin » ne suffisent plus à juger la tenue en contexte long.
- Résumer, trier et repartir d'un contexte propre deviennent des gestes de base.
- Le terme donne un argument concret au context engineering.
### Définition Le **context rot** (« pourrissement », ou dégradation, du contexte) décrit la perte de qualité des réponses d'un modèle quand la quantité de jetons en entrée augmente, en particulier lorsque le contexte accumule des distractions, des impasses ou des informations peu pertinentes. ### Origine L'expression apparaît le 18 juin 2025 dans un commentaire de l'utilisateur Workaccount2 sur Hacker News, relevé le jour même par Simon Willison : « Maybe you can call it context rot, where as context grows and especially if it grows with lots of distractions and dead ends, the output quality falls off rapidly » (« On pourrait appeler ça context rot : à mesure que le contexte grandit, surtout s'il se remplit de distractions et d'impasses, la qualité des réponses chute rapidement »). Le 14 juillet 2025, Chroma (Kelly Hong, Anton Troynikov, Jeff Huber) en fait le titre d'un rapport technique, « Context Rot: How Increasing Input Tokens Impacts LLM Performance », qui installe le terme : c'est la date retenue ici. ### Ce que le terme recouvre - Chroma évalue 18 modèles, dont GPT-4.1, Claude 4, Gemini 2.5 et Qwen3, et conclut : « Models do not use their context uniformly; instead, their performance grows increasingly unreliable as input length grows » (« Les modèles n'exploitent pas leur contexte de façon uniforme ; leurs performances deviennent de moins en moins fiables à mesure que l'entrée s'allonge »). - La dégradation s'accentue quand la question ressemble peu à l'information cherchée et quand des distracteurs sont présents. - Le code des expériences est publié pour permettre de les reproduire. ### Critiques et limites Chroma édite une base de données vectorielle et a intérêt à promouvoir la recherche documentaire ciblée ; ses expériences restent toutefois reproductibles. L'ampleur de l'effet varie selon les modèles et les tâches. ### À retenir Tout mettre dans le contexte n'est pas une stratégie : un contexte court et pertinent vaut mieux qu'une fenêtre pleine.
Liens
Tags : Vocabulaire, Contexte, Qualité, Évaluation