Cognition présente Devin, un agent qui prend en charge une tâche de développement de bout en bout
2024-03-12 · Éditeur : Cognition · Domaine : Méthodologie, organisation
La jeune pousse Cognition présente Devin comme « le premier ingénieur logiciel IA » : un agent qui planifie, code, teste et corrige dans son propre environnement, au lieu de compléter des lignes dans l'éditeur.
Ce qui change
- L'unité de travail confiée à l'IA passe de la ligne de code à la tâche entière.
- L'agent dispose d'un terminal, d'un éditeur et d'un navigateur dans un bac à sable.
- Le développeur suit l'avancement en temps réel et corrige la trajectoire.
- SWE-bench devient l'étalon public pour comparer les agents de code.
### Contexte Le 12 mars 2024, **Cognition** publie « Introducing Devin, the first AI software engineer » (« Voici Devin, le premier ingénieur logiciel IA »). Jusque-là, les assistants de code comme GitHub Copilot complétaient le code sous le curseur ; Devin reçoit une demande en langage naturel et la mène seul jusqu'au résultat. ### Caractéristiques - Environnement isolé avec les outils courants du développeur : **terminal, éditeur de code et navigateur**. - Planification de tâches longues, mémoire du contexte, correction de ses propres erreurs et compte rendu d'avancement en temps réel. - Sur **SWE-bench** (tickets GitHub réels), Devin résout **13,86 %** des cas de bout en bout, sans assistance, sur un sous-ensemble aléatoire de 25 % du jeu, selon l'éditeur. - Le meilleur résultat précédent était de **1,96 %** sans assistance, et de **4,80 %** pour des modèles à qui l'on indiquait les fichiers à modifier. ### Pourquoi c'est important Devin popularise la notion d'**agent de code** : le développeur ne tape plus le code, il délègue un ticket et relit le résultat. Cette bascule de l'assistance vers la délégation ouvre les questions d'organisation qui occuperont les deux années suivantes : qui relit, comment découper le travail, comment mesurer le gain réel. ### À retenir Les chiffres sont ceux de l'éditeur, sur un sous-ensemble de SWE-bench, à une date où les meilleurs agents résolvaient encore moins d'un ticket sur sept. C'est le point de départ de la course aux agents de code, plus qu'une preuve de maturité.
Liens
Tags : Agents de code, SWE-bench, Ingénierie logicielle