Qu'est-ce que Computer Use

Leçon mise à jour le 3 novembre 2026 d’après le guide Computer use d’OpenAI : ce cours du catalogue OpenAI suit désormais l’outil computer de la Responses API, et non plus l’API d’Anthropic. La section sur les acteurs présente les deux voies documentées par OpenAI (exécution de code, recommandée pour GPT-6 Astra, et outil computer) ; les affirmations non sourcées sur les produits concurrents sont retirées. Source : Computer use.

Une nouvelle façon d’interagir avec les machines

Pendant des années, un modèle de langage est resté un interlocuteur purement textuel : vous posiez une question, vous receviez une réponse, et tout ce qui touchait au monde réel restait à votre charge. Computer Use fait tomber cette frontière. Le modèle voit un écran et décide des gestes à y faire — cliquer, taper au clavier, faire défiler une page, passer d’une application à l’autre —, que votre application exécute pour lui.

Le déplacement est plus profond qu’il n’y paraît. L’automatisation classique s’accroche à des points techniques : un sélecteur CSS, un identifiant DOM, une API que l’éditeur du logiciel a bien voulu exposer. Le jour où l’équipe front-end renomme une classe, le script s’arrête net, et souvent personne ne s’en aperçoit avant que le rapport du lendemain arrive vide. Avec Computer Use, vous formulez une instruction en langage naturel et l’IA se débrouille avec l’interface telle qu’un humain la perçoit. Le bouton « Envoyer » déplacé de trois centimètres ou repeint en vert reste le bouton « Envoyer ».

La boucle qui rend tout possible

Le mécanisme tient en cinq temps, et c’est leur répétition qui fait sa puissance :

1. Votre application capture l’écran ou la fenêtre du navigateur
2. Le modèle analyse l’image pour comprendre ce qu’il voit
3. Il décide d’une ou plusieurs actions (clic, frappe clavier, défilement)
4. Votre application exécute ces actions sur la machine
5. Une nouvelle capture repart vers le modèle, et la boucle recommence

Cette boucle perception-action est le cœur du dispositif. Prenez une situation banale : votre agent doit remplir un formulaire de contact, mais une bannière de cookies se déploie par-dessus au chargement. Un script Selenium qui ne l’avait pas prévue clique dans le vide et remonte une erreur difficile à interpréter. L’agent Computer Use, lui, voit la bannière sur son screenshot, la traite, reprend une capture et retrouve son formulaire. Il ne récite pas un plan figé : il réévalue la situation à chaque itération.

Ce que l’on automatise réellement

Le premier terrain d’application est le test end-to-end. Vous décrivez le parcours à vérifier — « connecte-toi, ajoute un article au panier, va jusqu’au paiement » — et l’agent le joue comme un utilisateur, sans que vous ayez à entretenir une bibliothèque de sélecteurs qui se périment à chaque refonte du site.

Vient ensuite le RPA, l’automatisation de tâches répétitives sur des logiciels dépourvus d’API : un vieil ERP interne, un extranet fournisseur, une application métier des années 2000 dont l’éditeur a disparu. Là où l’intégration technique est impossible, l’agent passe par l’écran, exactement comme l’employé qui recopiait les données à la main.

Le scraping devient à son tour accessible sur des sites dynamiques qui résistent aux extracteurs classiques, puisque l’agent lit la page rendue et non le HTML brut. Les workflows multi-applications — relever une commande dans un CRM, la saisir dans un tableur, envoyer la confirmation par email — s’enchaînent dans une seule session. Et la même capacité sert à l’assistance utilisateur : plutôt que d’expliquer à quelqu’un où cliquer, l’agent navigue réellement dans l’interface.

Les acteurs en 2026

Ce cours suit l’offre d’OpenAI, qui ouvre deux voies dans la Responses API. Avec l’exécution de code, le modèle écrit un script — Playwright ou PyAutoGUI, par exemple — que votre environnement isolé exécute avant de lui renvoyer le résultat et des captures ; un seul appel peut alors enchaîner des boucles et des conditions, et c’est la voie qu’OpenAI recommande pour GPT-6 Astra. Avec l’outil computer, le modèle renvoie des actions souris et clavier structurées que votre application traduit en gestes ; cet outil reste pris en charge, et c’est celui que vous utiliserez ici, parce qu’il montre la boucle à nu. Les SDK d’OpenAI proposent aussi des aides toutes faites (ComputerToolset, BrowserToolset) qui gèrent cette boucle pour vous.

D’autres fournisseurs, Anthropic notamment, proposent un outil comparable dans leur propre API, avec un format d’échange différent : le code de ce cours ne s’y transpose pas tel quel, mais les principes — boucle, gestionnaire d’actions, isolement, confirmation humaine — restent les mêmes.

Ce que vous gagnez, ce que vous payez

Ce tableau se lit comme un arbitrage, pas comme un palmarès. Vous échangez de la vitesse brute contre de la résilience et un coût de maintenance quasi nul. Pour cinquante mille exécutions quotidiennes sur une page stable dont vous maîtrisez le HTML, le script reste le bon choix. Pour un parcours retouché tous les mois, ou pour un logiciel sans API, l’arbitrage bascule nettement de l’autre côté — et c’est ce second cas que ce cours vous apprend à traiter.

Points clés à retenir

• Computer Use permet à l’IA de voir et contrôler un écran via une boucle screenshot-action
• C’est un paradigme différent des scripts classiques : plus résilient mais plus lent
• Les cas d’usage principaux sont les tests E2E, le RPA, le scraping et les workflows multi-applications
• OpenAI propose deux voies : l’exécution de code, recommandée pour GPT-6 Astra, et l’outil computer, utilisé dans ce cours