Computer Use : Claude contrôle un ordinateur

Deuxième application Anthropic au programme, et la plus surprenante : Computer Use permet à Claude d’interagir directement avec des environnements bureau — en donnant à l’IA la capacité de contrôler un ordinateur comme un humain. Écran, souris, clavier : là où Claude Code agit par le terminal et les fichiers, Computer Use agit par l’interface graphique — et tout ce qui a un écran devient automatisable, avec ou sans API.

Ce que Computer Use peut faire

Le champ d’application couvre tout ce qu’un opérateur humain ferait devant un navigateur :

• Tests QA automatisés d’applications web
• Saisie de données et remplissage de formulaires
• Navigation sur des sites et collecte d’informations
• Tests d’interface utilisateur
• Tâches bureautiques répétitives

Le point commun de la liste : des tâches où l’interface est le produit à exercer, ou le seul accès disponible. Quand une API existe, appelez l’API — Computer Use prend le relais là où il n’y en a pas, ou quand c’est précisément le comportement visuel qu’on veut vérifier.

Exemple concret : Tests QA automatisés

Le cas d’usage roi. Au lieu de tester manuellement chaque interaction, vous déléguez à Claude :

Votre objectif : tester un composant React.
1. Ouvrir l'URL du composant
2. Exécuter les cas de test
3. Rédiger un rapport

Cas de test :
- Taper @ devrait afficher l'autocomplétion
- Appuyer sur Entrée devrait insérer le document
- Backspace devrait repositionner l'autocomplétion

Regardez la forme de ce prompt : un objectif, une procédure, des cas de test aux critères vérifiables — l’ingénierie de prompt du début du cours, appliquée à un agent visuel. Claude navigue, exécute chaque test, observe les résultats via des captures d’écran, et génère un rapport. La boucle sous-jacente vous est familière : action, capture, analyse, action suivante — c’est la boucle d’agent à outils, où la capture d’écran joue le rôle de perception. Et ces tests d’interface sont précisément ceux qu’aucun test unitaire ne couvre : le composant peut être logiquement correct et visuellement cassé.

Sécurité et isolation

Computer Use s’exécute dans un conteneur Docker, complètement isolé de votre système principal : un environnement de bureau et un navigateur dédiés, que Claude pilote sans accès à vos fichiers personnels. Cette isolation n’est pas un luxe mais une règle de conception : l’agent qui clique et saisit est aussi celui dont on borne strictement le terrain de jeu. Techniquement, Claude ne « touche » d’ailleurs jamais la machine — il émet des demandes d’outils (cliquer ici, taper cela), et c’est l’infrastructure du conteneur qui les traduit en interactions réelles ; le périmètre de l’agent est exactement celui que le conteneur autorise.

Gain de temps : Décrivez ce que vous voulez tester, laissez Claude gérer l’exécution.

La promesse tient à une condition, la même que pour tout agent : des instructions spécifiques et des critères de succès explicites. « Teste mon composant » produit une exploration vague ; les trois cas de test chiffrés de l’exemple produisent un rapport exploitable. La qualité de la délégation fait la qualité du résultat.

Points clés à retenir

• Computer Use = Claude pilote un bureau par l’interface graphique : le complément visuel de Claude Code
• À réserver aux tâches sans API ou aux comportements d’interface à vérifier — sinon, l’API gagne
• QA automatisée : objectif + procédure + cas de test vérifiables = rapport exploitable
• Boucle d’agent classique où la capture d’écran est la perception
• Isolation Docker systématique : l’agent n’agit que dans le périmètre du conteneur