Claude Computer Use

2024-10-22 · Éditeur : Anthropic · Domaine : Intelligence Artificielle

Anthropic ouvre en bêta publique « computer use » : Claude voit l'écran, déplace le curseur, clique et tape au clavier. Annoncé avec un Claude 3.5 Sonnet amélioré (49 % à SWE-bench Verified) et Claude 3.5 Haiku.

Anthropic présente « computer use » (utilisation de l'ordinateur), une capacité de Claude 3.5 Sonnet mis à jour qui lui permet d'utiliser un ordinateur comme une personne : regarder l'écran, déplacer le curseur, cliquer sur des boutons et taper du texte. L'annonce s'accompagne d'une nouvelle version de Claude 3.5 Sonnet et de Claude 3.5 Haiku. ### Ce qui change - Claude reçoit des captures d'écran et renvoie des actions (déplacement de souris, clic, saisie clavier) : il peut piloter n'importe quel logiciel sans API dédiée. - Bêta publique dans l'API : Anthropic la présente comme encore expérimentale, parfois laborieuse et sujette aux erreurs. - Limites reconnues par l'éditeur : faire défiler, glisser-déposer ou zoomer restent difficiles. - Claude 3.5 Sonnet mis à jour progresse nettement en programmation agentique et en usage d'outils, sans hausse de prix. - Claude 3.5 Haiku, le modèle rapide, égale ou dépasse le premier Claude 3.5 Sonnet sur plusieurs évaluations. ### Caractéristiques - Disponible dans l'API Anthropic, Amazon Bedrock et Google Cloud Vertex AI, avec une implémentation de référence publiée sur GitHub. - Outils fournis au modèle : contrôle de l'ordinateur, éditeur de texte et terminal bash. - Claude 3.5 Haiku : annoncé pour la fin octobre, d'abord en texte seul, l'entrée image devant suivre. - Précautions : l'éditeur conseille de commencer par des tâches à faible risque et a développé des classifieurs qui détectent l'usage de la capacité et les abus éventuels (spam, désinformation, fraude). ### Tarifs | Modèle (USD par million de tokens) | Entrée | Sortie | | --- | --- | --- | | Claude 3.5 Sonnet mis à jour (inchangé) | 3 | 15 | | Claude 3.5 Haiku (après révision du 3 décembre 2024) | 0,80 | 4 | ### Benchmarks publiés par l'éditeur Scores publiés par l'éditeur (addendum d'octobre 2024 à la fiche modèle). | Benchmark | 3.5 Sonnet mis à jour | 3.5 Haiku | 3.5 Sonnet (juin) | | --- | --- | --- | --- | | OSWorld (captures seules) | 14,9 % | non communiqué | non communiqué | | SWE-bench Verified | 49,0 % | 40,6 % | 33,4 % | | TAU-bench, commerce | 69,2 % | 51,0 % | 62,6 % | | TAU-bench, aérien | 46,0 % | 22,8 % | 36,0 % | ### Pourquoi c'est un tournant Jusqu'ici, un agent devait passer par des API ou des intégrations écrites pour lui. Avec « computer use », l'interface graphique conçue pour les humains devient elle-même un terrain d'action pour l'IA : c'est le point de départ des agents qui naviguent et opèrent des applications. ### À retenir Un score encore modeste face à l'humain, mais une rupture d'approche que d'autres grands éditeurs reprendront dans les mois suivants.

Tags : Agents, Anthropic, Claude, Computer Use, Claude 3.5, Claude 3.5 Haiku, Interface graphique