Fonctionnement de Computer Use
Computer Use fonctionne exactement comme le tool use classique : il est construit sur les memes fondations. La difference est qu’au lieu d’appeler une API meteo ou une fonction de base de donnees, Claude fait des requetes pour controler une interface informatique.
Rappel sur le Tool Use
Quand vous souhaitez que Claude utilise un outil, vous envoyez une requete contenant un message utilisateur et un schema d’outil. Le flux classique :
- Vous envoyez a Claude une question avec les schemas d’outils disponibles
- Claude analyse la requete et decide d’utiliser un outil
- Claude repond avec une requete tool use contenant le nom de l’outil et les parametres
- Votre serveur execute la fonction et renvoie le resultat
- Vous renvoyez le resultat a Claude
Computer Use : meme flux, outil different
Computer Use suit exactement le meme pattern. La difference reside dans ce que l’outil fait reellement : au lieu de recuperer des donnees meteo, il simule des interactions informatiques comme les clics de souris et les saisies clavier.
Quand vous activez Computer Use, vous envoyez un schema d’outil special qui est automatiquement etendu en arriere-plan. Ce qui commence comme un schema simple de votre cote devient une interface complete indiquant a Claude qu’il peut effectuer :
- Des mouvements et clics de souris
- Des saisies clavier et combinaisons de touches
- Des captures d’ecran
- Du defilement et d’autres interactions d’interface
Implementation technique
Pour faire fonctionner Computer Use, vous avez besoin d’un environnement capable d’executer programmatiquement les actions demandees par Claude. L’implementation de reference utilise un conteneur Docker executant Firefox, accompagne de code simulant les appuis de touches et les mouvements de souris.
Quand Claude decide d’interagir avec l’ordinateur, il envoie une requete tool use comme pour n’importe quel autre outil. Votre serveur recoit cette requete et execute l’action correspondante dans l’environnement conteneurise.
Le point essentiel : Claude ne controle pas directement un ordinateur. Il fait des requetes d’outils, et votre infrastructure traduit ces requetes en interactions informatiques reelles.
Mise en route
Anthropic fournit une implementation de reference qui gere toute la complexite. Pour la configurer, vous avez besoin de :
- Un runtime Docker installe sur votre systeme
- Un profil AWS configure localement (generalement “default”)
- L’implementation de reference du depot Anthropic quickstarts
Une fois ces prerequis en place, vous pouvez demarrer le conteneur Docker avec une seule commande, donnant acces a une interface de chat et un environnement navigateur que Claude peut controler.