Computer-Using Agent (CUA)
2025-01-23 · Éditeur : OpenAI · Domaine : Intelligence Artificielle
OpenAI présente Computer-Using Agent (CUA), un modèle qui associe la vision de GPT-4o et un raisonnement entraîné par renforcement pour manipuler une interface graphique. Il alimente l'agent Operator.
Ce qui change
- CUA lit des captures d'écran, raisonne par chaîne de pensée puis agit avec une souris et un clavier virtuels, sans passer par des API spécialisées.
- Boucle en trois temps : perception, raisonnement, action, avec demande de confirmation à l'utilisateur pour les actions sensibles (identifiants, CAPTCHA).
- Premier modèle d'OpenAI dédié à l'usage d'ordinateur, livré en aperçu de recherche dans Operator.
- L'accès par API viendra le 11 mars 2025 avec l'outil computer use (modèle computer-use-preview, voir la fiche dédiée).
OpenAI présente Computer-Using Agent (CUA), un modèle qui associe la vision de GPT-4o et un raisonnement entraîné par renforcement pour manipuler une interface graphique. Il alimente l'agent Operator. ### Ce qui change - CUA lit des captures d'écran, raisonne par chaîne de pensée puis agit avec une souris et un clavier virtuels, sans passer par des API spécialisées. - Boucle en trois temps : perception, raisonnement, action, avec demande de confirmation à l'utilisateur pour les actions sensibles (identifiants, CAPTCHA). - Premier modèle d'OpenAI dédié à l'usage d'ordinateur, livré en aperçu de recherche dans Operator. - L'accès par API viendra le 11 mars 2025 avec l'outil computer use (modèle computer-use-preview, voir la fiche dédiée). ### Caractéristiques - Entrées : captures d'écran (pixels) ; sorties : actions clic, défilement, saisie. - Disponibilité à l'annonce : Operator (operator.chatgpt.com), abonnés ChatGPT Pro aux États-Unis, en aperçu de recherche. - Fenêtre de contexte, sortie maximale et date de coupure : non communiquées dans l'annonce. ### Tarifs Tarif non communiqué à l'annonce (accès via l'abonnement Pro). ### Benchmarks Scores publiés par l'éditeur. | Benchmark | CUA | Précédent état de l'art | Humain | | --- | --- | --- | --- | | OSWorld (usage d'ordinateur complet) | 38,1 % | 22,0 % | 72,4 % | | WebArena (navigation web) | 58,1 % | 36,2 % (interface universelle), 57,1 % (agents web spécialisés) | 78,2 % | | WebVoyager (sites en ligne) | 87,0 % | 56,0 % (interface universelle), 87,0 % (agents web spécialisés) | non communiqué | ### À retenir CUA pose les bases de l'automatisation de tâches par interface graphique, utile là où aucune API n'existe. Le taux de réussite reste loin du niveau humain sur les tâches complexes, ce qui impose une supervision.
Liens
Tags : LLM, OpenAI, Agent, Computer Use, Operator