Aller au contenu
Cercle IA Tech · Agents Un site du réseau Cercle IA Tech

Guide

Humain dans la boucle : faire valider un agent IA

Où placer la validation humaine dans un agent IA, et comment la coder : suspension LangGraph, rappel canUseTool et mode plan du Claude Agent SDK.

Mis à jour le

Garder un humain dans la boucle (human in the loop), c'est faire suspendre l'agent avant une action à fort impact, montrer à une personne ce qu'il s'apprête à faire, et reprendre selon sa décision : approuver, refuser ou corriger. Techniquement, il faut deux choses : un point d'arrêt placé dans votre code (pas dans les instructions du modèle) et un état sauvegardé pour reprendre là où l'agent s'était arrêté.

Placer le contrôle avant l’action sensible

Trois sources convergent :

  • Anthropic (« Building effective agents », 19/12/2024) recommande, pour les agents autonomes, des points de contrôle humains et des conditions d'arrêt, parce que les erreurs peuvent s'additionner d'un tour à l'autre.
  • L’OWASP recommande qu’une personne autorise les opérations à fort impact ; cette vérification peut être réalisée dans l’outil ou dans le système cible.
  • L'ANSSI (Agence nationale de la sécurité des systèmes d'information), dans ses recommandations du 29/04/2024, demande qu'un système d'IA générative ne puisse pas prendre de décisions critiques à fort impact « sans un contrôle humain (ex. : validation dans une IHM) », c'est-à-dire une interface homme-machine. Sa recommandation R9 : « Proscrire l'usage automatisé de systèmes d'IA pour des actions critiques sur le SI » (système d'information).

Pour le dirigeant qui se demande pourquoi l'IA ne peut pas décider seule, SavoirAI énumère huit limites de l'IA générative, dont la vérification de ses propres réponses et la décision à votre place.

Quoi faire valider

Type d'action Validation Pourquoi
Lecture de données internes Selon la sensibilité et le contexte Lire peut exposer des informations ; les droits restent à vérifier
Brouillon (mail, devis, réponse) Non à la création, oui avant l'envoi L'envoi engage l'entreprise
Envoi à un client ou un tiers Oui Irréversible
Paiement, remboursement, commande Oui Impact financier
Suppression, écrasement de fichiers Oui Difficile à annuler
Modification de droits ou de configuration Oui, ou interdite Cité par l'ANSSI parmi les actions critiques

Distinguer approbation et reprise de conversation

La documentation API d’ALMA présente la prise en charge d’une session par un humain. Ce transfert répond au besoin de poursuivre un dialogue ; il ne prouve pas qu’une opération proposée par un agent attend une autorisation avant exécution. Dans votre application, vérifiez ces deux parcours séparément.

Pour une approbation, montrez une opération déterminée : le destinataire, le texte final et les pièces jointes, par exemple. Si l’utilisateur corrige le destinataire, l’accord antérieur ne doit pas autoriser silencieusement une autre version. La décision doit porter sur les paramètres qui seront réellement exécutés.

Coder la suspension avec LangGraph

La documentation de LangGraph décrit la fonction interrupt() : elle suspend l'exécution d'un nœud du graphe, sauvegarde l'état et renvoie une valeur à l'appelant. Il faut un « checkpointer » (le composant qui enregistre l'état) et un identifiant de fil (thread_id). La reprise se fait avec Command(resume=...) : la valeur passée devient le retour de interrupt(). Exemple adapté de ce mécanisme ; seul le booléen True autorise la poursuite :

from langgraph.types import Command, interrupt

def approval_node(state):
    decision = interrupt({"question": "Approve this action?",
                          "details": state["action_details"]})
    return Command(goto="proceed" if decision is True else "cancel")

Trois pièges signalés par la documentation :

  • au moment de la reprise, le nœud repart du début : tout code placé avant interrupt() est rejoué. Les effets de bord placés avant doivent donc pouvoir être rejoués sans dommage, ou être déplacés après ;
  • ne pas entourer interrupt() d'un try/except générique, qui intercepterait la suspension ;
  • en production, utiliser un checkpointer durable plutôt que la sauvegarde en mémoire de l'exemple.

Ce fragment n’est pas une application complète : il faut définir l’état, les nœuds proceed et cancel, le checkpointer et le fil de reprise. Côté interface, validez aussi le type reçu. La chaîne de caractères "false" ne doit pas être traitée comme un accord parce qu’elle est non vide. Si personne ne répond, le graphe peut rester suspendu : prévoyez une expiration et un état visible « en attente ».

Coder la validation avec le Claude Agent SDK

Dans le kit de développement (SDK) d'agents d'Anthropic, la validation passe par les permissions. Selon les règles, les points d’interception et le mode actif, un appel peut atteindre votre fonction de rappel canUseTool, qui affiche la demande à un utilisateur et renvoie sa décision. La documentation précise :

  • en mode default, un appel qui demande une approbation et qu'aucune règle n'autorise déclenche ce rappel ; sans rappel, il est refusé ;
  • une règle allowed_tools peut approuver un appel avant canUseTool. Des refus et demandes explicites sont évalués auparavant : il ne faut donc pas écrire que le rappel est « toujours » évité. Pour un contrôle systématique, concevez les règles et les points d’interception en fonction de l’ordre documenté ;
  • le mode plan sert à explorer et proposer un plan, mais il ne constitue pas à lui seul une garantie de lecture seule : les règles, les hooks et, selon la configuration, le classifieur du mode automatique interviennent. Vérifiez le comportement de la version installée ;
  • le mode dontAsk refuse les appels qui demanderaient une validation ; les appels déjà approuvés ou ne nécessitant pas de validation peuvent encore s’exécuter. Les extensions installées peuvent également intervenir dans cette décision.

Avec l'OpenAI Agents SDK

La documentation de l'OpenAI Agents SDK liste l'humain dans la boucle parmi ses briques de base (« des mécanismes intégrés pour faire intervenir des humains pendant l'exécution d'un agent »), aux côtés des garde-fous qui valident entrées et sorties.

Faire une bonne demande de validation

Une validation n'est utile que si la personne comprend ce qu'elle approuve. Affichez :

  • l'action exacte et ses paramètres (destinataire, montant, fichier) ;
  • la raison donnée par l'agent ;
  • les sources qui ont mené à cette décision, surtout si elles viennent de l'extérieur : un mail ou une page web peut contenir des instructions cachées (voir injection de prompt) ;
  • trois choix : approuver, refuser, corriger.

Et journalisez la décision avec son auteur. La validation humaine complète la limitation des droits, elle ne la remplace pas : réservez-la aux actions qui comptent, pour que chaque demande soit lue avec attention.

Essayer un refus et une réponse tardive

Le parcours doit fonctionner quand la personne refuse. L’agent explique alors ce qui n’a pas été fait et conserve le résultat utile, par exemple un brouillon. Il ne cherche pas un autre outil pour produire l’effet refusé.

Testez aussi une approbation arrivée après modification du dossier. L’application doit détecter que l’état présenté n’est plus l’état courant, puis demander une nouvelle décision si nécessaire. Journalisez l’identifiant de l’opération et sa version avec l’accord ; un simple bouton « oui » sans objet précis laisse trop de place à l’interprétation.

Questions fréquentes

Que veut dire « human in the loop » pour un agent IA ?

Que l'agent s'arrête à certains moments pour qu'une personne approuve, refuse ou corrige ce qu'il s'apprête à faire, avant de reprendre là où il en était.

Quelles actions faire valider par un humain ?

Celles qui sont difficiles à annuler ou qui ont un impact fort : envoi à un tiers, paiement, suppression, publication, modification de droits. L'ANSSI recommande de proscrire l'usage automatisé de l'IA pour les actions critiques sur le système d'information.

Sources

Pages consultées pour écrire cet article :

  1. https://alma.iarche.fr/fr/api-docs
  2. https://www.anthropic.com/engineering/building-effective-agents
  3. https://docs.langchain.com/oss/python/langgraph/interrupts
  4. https://code.claude.com/docs/en/agent-sdk/permissions
  5. https://openai.github.io/openai-agents-python/
  6. https://genai.owasp.org/llmrisk/llm062025-excessive-agency/
  7. https://messervices.cyber.gouv.fr/guides/recommandations-de-securite-pour-un-systeme-dia-generative
  8. https://messervices.cyber.gouv.fr/documents-guides/Recommandations_de_sécurité_pour_un_système_d_IA_générative.pdf

À lire aussi