Fonctionnement de Computer Use

Computer Use impressionne — Claude qui navigue, clique et remplit des formulaires — mais son secret est rassurant : il fonctionne exactement comme le tool use classique, construit sur les mêmes fondations que tout ce que vous avez appris dans ce cours. La seule différence est la nature de l’outil : au lieu d’appeler une API météo ou une fonction de base de données, Claude fait des requêtes pour contrôler une interface informatique.

Rappel sur le Tool Use

Le flux que vous connaissez par cœur : quand vous souhaitez que Claude utilise un outil, vous envoyez une requête contenant un message utilisateur et un schéma d’outil, puis :

1. Vous envoyez à Claude une question avec les schémas d’outils disponibles
2. Claude analyse la requête et décide d’utiliser un outil
3. Claude répond avec une requête tool use contenant le nom de l’outil et les paramètres
4. Votre serveur exécute la fonction et renvoie le résultat
5. Vous renvoyez le résultat à Claude

Gardez ce squelette en tête : Computer Use n’y changera pas une ligne.

Computer Use : même flux, outil différent

Computer Use suit exactement le même pattern. La différence réside dans ce que l’outil fait réellement : au lieu de récupérer des données météo, il simule des interactions informatiques — clics de souris, saisies clavier.

Quand vous activez Computer Use, vous envoyez un schéma d’outil spécial qui est automatiquement étendu en arrière-plan — le même mécanisme que le text editor tool : un petit schéma de votre côté, une spécification complète côté modèle, sur laquelle Claude a été spécifiquement entraîné. Ce qui commence comme une déclaration minimale devient une interface complète indiquant à Claude qu’il peut effectuer :

• Des mouvements et clics de souris
• Des saisies clavier et combinaisons de touches
• Des captures d’écran
• Du défilement et d’autres interactions d’interface

Remarquez la présence des captures d’écran dans la liste : c’est l’outil de perception du lot. Claude ne « voit » pas l’écran en continu — il demande une capture, l’analyse avec sa vision, décide de l’action suivante, et recommence. Action, observation, décision : la boucle d’agent, appliquée à l’écran.

Implémentation technique

Pour faire fonctionner Computer Use, vous avez besoin d’un environnement capable d’exécuter programmatiquement les actions demandées par Claude. L’implémentation de référence utilise un conteneur Docker exécutant Firefox, accompagné de code simulant les appuis de touches et les mouvements de souris.

Quand Claude décide d’interagir avec l’ordinateur, il envoie une requête tool use comme pour n’importe quel autre outil ; votre serveur la reçoit et exécute l’action correspondante dans l’environnement conteneurisé. Le point essentiel, à retenir absolument : Claude ne contrôle pas directement un ordinateur. Il fait des requêtes d’outils, et votre infrastructure traduit ces requêtes en interactions réelles — c’est elle qui détient le pouvoir d’agir, et donc les limites : le conteneur isole l’expérimentation, et rien de ce que Claude demande ne s’exécute hors de son périmètre.

Mise en route

Anthropic fournit une implémentation de référence qui gère toute la complexité — la simulation d’entrées, les captures, la boucle d’agent. Pour la configurer, vous avez besoin de :

• Un runtime Docker installé sur votre système
• Un profil AWS configuré localement (généralement « default »)
• L’implémentation de référence du dépôt Anthropic quickstarts

Une fois ces prérequis en place, vous pouvez démarrer le conteneur Docker avec une seule commande, donnant accès à une interface de chat et un environnement navigateur que Claude peut contrôler. Le profil AWS sert à router les appels vers Bedrock — l’agent qui pilote le navigateur est bien le même Claude, appelé par la même API, que dans tout le reste du cours.

Points clés à retenir

• Computer Use = tool use standard ; seule la nature de l’outil change (interface au lieu d’API)
• Schéma minimal côté code, étendu automatiquement côté modèle — comme le text editor tool
• La boucle : capture d’écran (perception) → analyse → action (clic, saisie) → nouvelle capture
• Claude ne touche jamais la machine : votre infrastructure traduit ses requêtes — et en fixe les limites
• Implémentation de référence : conteneur Docker + Firefox + profil AWS, démarrée en une commande