Computer Use

Dernière capacité d’agent au programme, et la plus spectaculaire : Computer Use permet à Claude d’interagir directement avec des environnements de bureau — contrôler un ordinateur comme le ferait un humain, écran, souris et clavier compris. Cela ouvre des possibilités entièrement nouvelles pour l’automatisation, les tests et les workflows complexes : tout ce qui n’a pas d’API mais a une interface devient accessible.

Ce que Computer Use peut faire

Au lieu de simplement décrire quoi faire ou générer du code, Claude peut effectuer des actions :

• Prendre des captures d’écran pour voir ce qui est affiché
• Cliquer sur des boutons et des liens
• Saisir du texte dans des formulaires et des applications
• Naviguer entre différentes applications et onglets du navigateur
• Suivre des processus en plusieurs étapes nécessitant un retour visuel

Le premier point de la liste est le pivot : la capture d’écran est la perception de l’agent, celle qui referme la boucle action-observation à chaque étape. Cette combinaison rend Computer Use particulièrement précieux pour les tests d’assurance qualité, où il faut interagir avec une interface utilisateur réelle et vérifier que tout fonctionne comme prévu — précisément ce qu’aucun test unitaire ne couvre.

Exemple concret : tests QA automatisés

Imaginons un composant React avec une fonctionnalité d’autocomplétion où les utilisateurs tapent @ pour mentionner des fichiers — le genre de composant truffé d’interactions fines. Au lieu de tester manuellement chaque scénario, vous configurez Claude avec Computer Use pour dérouler des cas de test spécifiques :

1. Vérifier que la saisie de « Did you read @ » affiche les options d’autocomplétion
2. Tester que la touche Entrée ajoute correctement une mention dans la zone de texte
3. Vérifier que le retour arrière après l’ajout de mentions affiche la liste d’autocomplétion à la bonne position

Claude travaille systématiquement sur chaque cas de test, prend des captures d’écran, interagit avec l’interface et documente les résultats — le travail d’un testeur humain, reproductible à volonté à chaque modification du composant.

Processus de test

Quand vous donnez une tâche de test à Claude, il suit une approche structurée :

1. Ouvre un navigateur et navigue vers votre application
2. Exécute chaque cas de test étape par étape
3. Prend des captures d’écran pour vérifier le comportement visuel
4. Rafraîchit la page entre les tests pour garantir un état propre
5. Documente les résultats avec des détails spécifiques
6. Fournit un rapport de synthèse avec des observations actionnables

L’étape 4 trahit la maturité du procédé : rafraîchir entre les tests, c’est l’hygiène de l’isolation des cas — un réflexe de testeur professionnel, qu’il suffit de prescrire une fois dans les instructions.

Configuration de Computer Use

Computer Use s’exécute dans un environnement isolé, et cette isolation n’est pas un détail :

• Un conteneur Docker exécutant un environnement de bureau
• Une instance de navigateur que Claude peut contrôler
• Une interface de chat pour donner des instructions à Claude
• Une isolation complète par rapport à votre système principal

Cette isolation est essentielle : Claude peut interagir avec des applications et des sites web sans aucun risque pour vos données personnelles ou la sécurité de votre système. L’agent le plus capable du cours est aussi celui qu’on enferme le plus soigneusement — les deux vont ensemble.

Bonnes pratiques

L’expérience convergente des utilisateurs de Computer Use tient en cinq règles : être spécifique sur ce que vous voulez que Claude teste ou accomplisse — les tâches vagues produisent des explorations erratiques ; fournir des critères de succès clairs pour chaque tâche, afin que l’agent sache quand il a fini ; décomposer les workflows complexes en étapes plus petites et gérables ; toujours exécuter Computer Use dans des environnements isolés, sans exception ; et vérifier manuellement les résultats importants — l’agent documente, l’humain valide ce qui engage.

Points clés à retenir

• Computer Use = Claude contrôle un bureau : captures, clics, saisies, navigation multi-applications
• La capture d’écran est la perception qui referme la boucle action-observation
• Cas d’usage roi : les tests QA d’interfaces — reproductibles, documentés, systématiques
• Isolation Docker obligatoire : l’agent le plus puissant est aussi le plus strictement enfermé
• Tâches spécifiques, critères de succès explicites, validation humaine des résultats importants