Qu'est-ce que Computer Use

Une nouvelle façon d’interagir avec les machines

Pendant des années, un modèle de langage est resté un interlocuteur purement textuel : vous posiez une question, vous receviez une réponse, et tout ce qui touchait au monde réel restait à votre charge. Computer Use fait tomber cette frontière. Le modèle voit votre écran et agit dessus — il clique, tape au clavier, fait défiler une page, passe d’une application à l’autre.

Le déplacement est plus profond qu’il n’y paraît. L’automatisation classique s’accroche à des points techniques : un sélecteur CSS, un identifiant DOM, une API que l’éditeur du logiciel a bien voulu exposer. Le jour où l’équipe front-end renomme une classe, le script s’arrête net, et souvent personne ne s’en aperçoit avant que le rapport du lendemain arrive vide. Avec Computer Use, vous formulez une instruction en langage naturel et l’IA se débrouille avec l’interface telle qu’un humain la perçoit. Le bouton « Envoyer » déplacé de trois centimètres ou repeint en vert reste le bouton « Envoyer ».

La boucle qui rend tout possible

Le mécanisme tient en cinq temps, et c’est leur répétition qui fait sa puissance :

1. L’IA capture un screenshot de l’écran ou du navigateur
2. Elle analyse l’image pour comprendre ce qu’elle voit
3. Elle décide d’une action (clic, frappe clavier, scroll)
4. L’action est exécutée sur la machine
5. Un nouveau screenshot est pris et la boucle recommence

Cette boucle perception-action est le cœur du dispositif. Prenez une situation banale : votre agent doit remplir un formulaire de contact, mais une bannière de cookies se déploie par-dessus au chargement. Un script Selenium qui ne l’avait pas prévue clique dans le vide et remonte une erreur difficile à interpréter. L’agent Computer Use, lui, voit la bannière sur son screenshot, la traite, reprend une capture et retrouve son formulaire. Il ne récite pas un plan figé : il réévalue la situation à chaque itération.

Ce que l’on automatise réellement

Le premier terrain d’application est le test end-to-end. Vous décrivez le parcours à vérifier — « connecte-toi, ajoute un article au panier, va jusqu’au paiement » — et l’agent le joue comme un utilisateur, sans que vous ayez à entretenir une bibliothèque de sélecteurs qui se périment à chaque refonte du site.

Vient ensuite le RPA, l’automatisation de tâches répétitives sur des logiciels dépourvus d’API : un vieil ERP interne, un extranet fournisseur, une application métier des années 2000 dont l’éditeur a disparu. Là où l’intégration technique est impossible, l’agent passe par l’écran, exactement comme l’employé qui recopiait les données à la main.

Le scraping devient à son tour accessible sur des sites dynamiques qui résistent aux extracteurs classiques, puisque l’agent lit la page rendue et non le HTML brut. Les workflows multi-applications — relever une commande dans un CRM, la saisir dans un tableur, envoyer la confirmation par email — s’enchaînent dans une seule session. Et la même capacité sert à l’assistance utilisateur : plutôt que d’expliquer à quelqu’un où cliquer, l’agent navigue réellement dans l’interface.

Les acteurs en 2026

Anthropic a ouvert la voie avec une API dédiée, des screenshots haute résolution et des actions structurées ; c’est l’implémentation la plus mature et la mieux documentée, et c’est celle que vous utiliserez tout au long de ce cours. OpenAI propose le contrôle du navigateur en natif via les Responses API avec la famille GPT-5.6. Google avance de son côté avec Project Mariner et les capacités d’interaction visuelle de Gemini 2.5.

Ce que vous gagnez, ce que vous payez

Ce tableau se lit comme un arbitrage, pas comme un palmarès. Vous échangez de la vitesse brute contre de la résilience et un coût de maintenance quasi nul. Pour cinquante mille exécutions quotidiennes sur une page stable dont vous maîtrisez le HTML, le script reste le bon choix. Pour un parcours retouché tous les mois, ou pour un logiciel sans API, l’arbitrage bascule nettement de l’autre côté — et c’est ce second cas que ce cours vous apprend à traiter.

Points clés à retenir

• Computer Use permet à l’IA de voir et contrôler un écran via une boucle screenshot-action
• C’est un paradigme différent des scripts classiques : plus résilient mais plus lent
• Les cas d’usage principaux sont les tests E2E, le RPA, le scraping et les workflows multi-applications
• Anthropic Claude offre l’implémentation la plus aboutie en 2026