Guide
Agent qui pilote un écran ou un navigateur : limites
Computer use et browser use d'Anthropic : boucle, limites relevées par la documentation, précautions de sécurité et validations humaines.
Mis à jour le
- une machine virtuelle ou un conteneur dédié, aux droits minimaux ;
- aucun accès aux données sensibles, comme les identifiants de compte ;
- un accès internet limité à une liste de domaines autorisés ;
- une confirmation humaine pour les décisions à conséquences réelles et celles qui demandent un consentement (cookies, paiement, conditions d'utilisation).
Un agent « qui utilise l'ordinateur » regarde des captures d'écran, déplace la souris, tape au clavier. Il permet d’agir par l’interface graphique, notamment quand aucune interface de programmation adaptée n’est disponible. Les changements de mise en page, les coordonnées et le contenu visible créent des contraintes particulières. Ce qui suit vient de la documentation d'Anthropic, lue le 16/11/2026.
Avant d’automatiser des clics dans une plateforme, cherchez un accès documenté aux ressources utiles. La documentation API d’ALMA fournit un exemple de contrat d’intégration à examiner : vérifiez l’existence de l’opération souhaitée et ses droits plutôt que de supposer qu’une interface graphique est indispensable.
Deux outils, deux niveaux
- Computer use : un outil client où Claude commande un bureau par captures, souris et clavier. La version décrite est
computer_toolset_20260801, qui regroupe 17 outils (capture, clic gauche, saisie, zoom…). Votre application exécute chaque appel dans un environnement que vous contrôlez. - Browser use : un navigateur que votre application pilote (
browser_toolset_20260801, 27 outils par défaut). Il lit aussi la structure de la page (éléments, formulaires, onglets) et des références comme[ref_2], là où computer use « fonctionne par captures et coordonnées seulement ». Pour simplement lire des pages ou chercher, la documentation renvoie vers les outils plus légers de recherche et de lecture web.
Dans les deux cas la boucle est celle de l'appel d'outils : Claude renvoie des blocs d'appel, votre code contrôle chaque action et exécute les appels autorisés dans l’ordre, renvoie un résultat par bloc (une image pour une capture, un court texte comme « OK » pour une autre action), jusqu'à une réponse en texte.
Limites relevées par la documentation
Computer use :
- Contrôles difficiles : des éléments comme les listes déroulantes et les barres de défilement peuvent être délicats à manipuler à la souris ; la page conseille de demander des raccourcis clavier.
- Succès non vérifié : Claude « agit parfois comme si ses actions avaient réussi sans en vérifier le résultat ». La page propose de lui demander, après chaque étape, une capture et une phrase disant si l'étape a réussi.
- Clics à côté : cible très petite, détail perdu à la réduction de l'image ou format déformé. Résolutions conseillées : 1024x768 ou 1280x720 pour le bureau, 1280x800 ou 1366x768 pour le web, sans dépasser 1920x1080.
- Contexte qui gonfle : les captures s'accumulent, environ 1 000 à 1 800 jetons d'entrée chacune.
Browser use :
- l'interface ne réduit pas les images : une capture trop grande est rejetée, c'est à vous de la redimensionner ;
- elle ne détecte pas une référence d'élément périmée : à vous de renvoyer une erreur ;
- elle ne filtre pas les adresses ouvertes par Claude ;
- l'outil n'est pas disponible dans Claude Managed Agents au moment de la lecture.
Précautions de sécurité
La documentation traite l'injection de prompt comme le risque principal : des consignes cachées dans une page ou une image peuvent faire dévier l'agent (détail ici). Précautions de computer use :
- une machine virtuelle ou un conteneur dédié, aux droits minimaux ;
- aucun accès aux données sensibles, comme les identifiants de compte ;
- un accès internet limité à une liste de domaines autorisés ;
- une confirmation humaine pour les décisions à conséquences réelles et celles qui demandent un consentement (cookies, paiement, conditions d'utilisation).
Pour browser use : un profil neuf sans identifiants, des adresses limitées à http et https, les fonctions javascript_exec et file_upload désactivées sauf besoin, et un humain pour confirmer achats, modifications de compte et envois de messages.
Selon les deux pages, des classificateurs analysent le contenu renvoyé, mais les précautions « restent importantes » malgré eux. La documentation demande aussi d'informer les utilisateurs finaux des risques et d'obtenir leur consentement avant d'activer computer use dans votre produit.
Contrôler chaque action d’un même tour
Un tour peut contenir plusieurs appels. Une approbation générale au début du tour ne suffit donc pas : vérifiez juste avant chaque action ses paramètres, la page courante et ses conséquences. Si la navigation a changé le formulaire, relisez la page avant de réutiliser une ancienne référence d’élément.
Pour un dépôt de dossier fictif, séparez saisie, vérification et soumission. Après le clic final, contrôlez la confirmation ou l’état enregistré ; une capture du bouton cliqué ne prouve pas que le dossier existe. Si le résultat est incertain, évitez de cliquer à nouveau avant d’avoir recherché l’opération déjà réalisée.
Ce que cela change pour votre projet
- Passez par une interface de programmation ou un outil dédié dès qu'il en existe un : comparez son périmètre à celui de l’interface graphique, puis privilégiez le chemin le plus contrôlable pour votre tâche.
- Placez des validations humaines sur toute action irréversible : voir garder un humain dans la boucle.
- Bornez le nombre de tours et comptez le poids des captures dans le contexte.
- Les droits donnés à la machine pilotée sont ceux que l'agent pourra utiliser : voir limiter les permissions.
Questions fréquentes
Quelle différence entre computer use et browser use ?
Computer use pilote un bureau entier par captures d'écran et coordonnées. Browser use agit dans un navigateur et s'appuie aussi sur la structure de la page, avec des références d'éléments, en plus des captures.
Où doit tourner un agent qui pilote un écran ?
Dans une machine virtuelle ou un conteneur dédié aux droits minimaux, sans accès aux données sensibles, selon les précautions de la documentation d'Anthropic.
Les filtres de l'éditeur suffisent-ils contre l'injection de prompt ?
Non. Les deux pages indiquent que des classificateurs analysent le contenu renvoyé, mais que les précautions listées restent importantes malgré eux.
Sources
Pages consultées pour écrire cet article :