METR revoit son protocole de mesure : trop de développeurs refusent désormais de travailler sans IA

2026-02-24 · Éditeur : METR · Domaine : Méthodologie, organisation

En rejouant son étude fin 2025 avec 57 développeurs, METR constate qu'un nombre croissant de participants refuse de coder sans IA, ce qui rend ses mesures peu fiables ; il annonce un nouveau protocole.

### Contexte Le 24 février 2026, **METR** publie « We are Changing our Developer Productivity Experiment Design » (« Nous changeons le protocole de notre expérience sur la productivité des développeurs »). Une nouvelle campagne, lancée en août 2025, devait mesurer l'évolution depuis l'étude de juillet 2025. ### Caractéristiques - **57** développeurs expérimentés (10 ans d'expérience médiane), **143** dépôts, plus de **800** tâches. - Pour les 10 développeurs de l'étude initiale : effet estimé de **-18 %** de temps (intervalle de -38 % à +9 %) ; pour les 47 nouveaux : **-4 %** (de -15 % à +9 %). - Rémunération passée de **150 à 50 dollars** de l'heure, facteur probable de biais de sélection. - **30 à 50 %** des développeurs interrogés disent avoir écarté des tâches qu'ils ne voulaient pas faire sans IA. - Mesure du temps peu fiable avec plusieurs agents utilisés en parallèle. ### Pourquoi c'est important Le constat est en lui-même un résultat : en quelques mois, travailler sans IA est devenu inacceptable pour une partie des développeurs, au point de fausser une expérience scientifique. METR estime que ses chiffres sont une **borne basse** et prévoit d'autres méthodes : expériences courtes mieux rémunérées, observation de l'activité, enquêtes, tâches fixes. ### À retenir Mesurer la productivité de l'IA devient aussi difficile que de s'en passer. Les organisations qui veulent piloter leurs gains devront construire leurs propres mesures, sur leurs propres tâches.

Tags : Étude, Productivité, Mesure