Étude METR : des développeurs open source expérimentés 19 % plus lents avec l'IA, alors qu'ils se croyaient plus rapides

2025-07-10 · Éditeur : METR · Domaine : Méthodologie, organisation

Un essai randomisé de METR sur 16 développeurs expérimentés et 246 tâches réelles mesure un ralentissement de 19 % avec l'IA, alors que les participants estimaient après coup avoir gagné 20 %.

Ce qui change

  • Premier essai randomisé sur des tâches réelles dans de grands dépôts mûrs.
  • Écart de près de 40 points entre gain perçu et effet mesuré.
  • Les gains annoncés par les outils ne se transposent pas automatiquement aux experts d'un code qu'ils connaissent.
  • L'étude devient la référence citée dans tous les débats sur la productivité.

### Contexte Le 10 juillet 2025, le laboratoire d'évaluation **METR** publie « Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity » (« Mesurer l'effet de l'IA de début 2025 sur la productivité de développeurs open source expérimentés »). Chaque tâche est tirée au sort : IA autorisée ou interdite. ### Caractéristiques - **16** développeurs expérimentés, contributeurs depuis plusieurs années à leurs dépôts. - **246** tâches réelles (corrections, fonctionnalités, refactorisations) d'environ deux heures chacune. - Dépôts de plus de **22 000 étoiles** et **1 million de lignes** en moyenne. - Outils : principalement **Cursor Pro** avec Claude 3.5 et 3.7 Sonnet. - Résultat : les tâches prennent **19 % de temps en plus** avec l'IA. - Avant l'étude, les développeurs anticipaient **24 %** de gain ; après, ils estimaient avoir gagné **20 %**. ### Pourquoi c'est important L'étude ne dit pas que l'IA ralentit tout le monde : elle montre que, sur un code mûr que l'on maîtrise déjà, le coût de formulation, d'attente et de relecture peut dépasser le gain. Surtout, elle prouve que **le ressenti ne suffit pas** pour piloter un investissement : il faut mesurer. ### À retenir Un échantillon réduit et des outils de début 2025 : METR jugera lui-même ce résultat dépassé en 2026. Mais l'écart entre perception et mesure reste la leçon méthodologique durable.

Liens

Tags : Étude, Productivité, Essai randomisé