Comment fonctionne Computer Use

Après la démonstration, la mécanique — et elle va vous sembler familière : Computer Use fonctionne exactement comme l’utilisation d’outils classique. Ce n’est pas une technologie à part, c’est une implémentation spéciale du même système d’outils sous-jacent que vous avez construit à la main dans la section Tool Use. Comprendre cela démystifie tout le reste.

Rappel : utilisation d’outils classique

1. Vous envoyez à Claude un message + schéma d'outil
2. Claude décide d'utiliser l'outil
3. Claude répond avec une demande d'appel d'outil
4. Votre serveur exécute la fonction
5. Vous renvoyez le résultat à Claude

Gardez ces cinq étapes en tête : Computer Use ne va en changer aucune — seule la nature de l’outil diffère.

Computer Use : même flux, outil différent

Le schéma de l’outil computer :

{
  "type": "computer_20250124",
  "name": "computer",
  "display_width_px": 1024,
  "display_height_px": 768,
  "display_number": 1
}

Remarquez la brièveté du schéma : comme pour le text editor tool, c’est un outil défini côté modèle — Claude a été entraîné sur sa spécification complète, et ce petit stub s’étend automatiquement en interface détaillée. Le type est versionné par génération de modèle (même principe que les identifiants du text editor : consultez la documentation pour votre modèle), et les dimensions d’écran déclarées cadrent les coordonnées que Claude produira. Actions disponibles : key, mouse_move, left_click, screenshot, scroll — le vocabulaire complet d’un utilisateur devant sa machine.

L’environnement informatique

Côté exécution, la boucle est celle de l’étape 4 du flux classique, appliquée au bureau :

Claude demande "cliquer aux coordonnées (500, 300)"
        ↓
Votre système exécute le clic dans Docker
        ↓
Capture d'écran du résultat
        ↓
Capture renvoyée à Claude

Deux points structurants dans ce cycle. D’abord, Claude ne touche jamais la machine : il émet des demandes d’outil, et c’est votre infrastructure — le conteneur Docker — qui les traduit en interactions réelles ; le périmètre d’action de l’agent est exactement celui que le conteneur autorise. Ensuite, la capture d’écran systématique après chaque action est la perception de l’agent : c’est elle qui lui montre l’effet réel de son clic — menu ouvert, page chargée, erreur affichée — et fonde sa décision suivante. Action, observation, décision : la boucle d’agent, image par image.

Démarrer rapidement

Anthropic fournit une implémentation de référence complète — simulation d’entrées, captures, boucle — qui se lance en une commande :

export ANTHROPIC_API_KEY="votre_cle_api"
docker run \
  -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
  -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 \
  -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

Le conteneur embarque un environnement de bureau, un navigateur et une interface de chat : ouvrez l’interface, donnez une tâche, et regardez la boucle tourner — chaque action et chaque capture sont visibles, ce qui en fait aussi un excellent outil d’apprentissage du fonctionnement des agents.

À retenir : Computer Use n’est pas magique — c’est simplement le système d’outils classique appliqué à l’automatisation bureau.

Et c’est la meilleure nouvelle possible : tout ce que vous savez des outils — schémas, boucles, gestion d’erreurs, bonnes pratiques — s’applique tel quel au pilotage d’un ordinateur.

Points clés à retenir

• Computer Use = le flux tool use standard, avec un outil « computer » à la place d’une API
• Outil défini côté modèle : stub minimal versionné, spécification complète connue de Claude
• Actions : key, mouse_move, left_click, screenshot, scroll — l’équipement d’un utilisateur humain
• La capture après chaque action est la perception qui referme la boucle d’agent
• Claude demande, le conteneur Docker exécute — le périmètre de l’agent est celui du conteneur