Défaillances en cascade et agents incontrôlés

Méthode de contrôle

Revue de conception : limites de boucle, plafonds de budget, arrêt d'urgence et reprise humaine.

Type de preuve possible

Lecture du code ou de la configuration, sans exploitation du risque.

Accès et limites

Dépôt connecté. Les résultats réels et les contrôles non exécutés figurent dans votre rapport. Un contrôle sans détection ne garantit pas l’absence de risque.

Situation concrète

Une boucle relance des outils sans progresser.

Ce qu’il faut examiner

Examiner limites d’itérations, délais, budget et reprise après erreur.

Approche de correction

Imposer des limites, arrêter les échecs répétés et conserver un état final traçable.

Décrire les pouvoirs réels de l’agent

Un agent combine modèle, outils, identifiants et état. Son risque dépend de ce que les outils peuvent faire, pas du nom du modèle. Un outil de recherche en lecture seule et un outil qui déploie du code ou transfère de l’argent demandent des protections différentes. Les consignes d’une page ou d’un autre agent ne doivent pas recevoir l’autorité de l’utilisateur.

1. Recenser outils, identifiants, données et destinations accessibles.
2. Identifier les accords nécessaires pour écritures, déploiements, messages et paiements.
3. Vérifier que les permissions sont imposées indépendamment de la réponse du modèle.

Contenir les échecs et vérifier les limites

Privilèges minimaux, exécution isolée, nombre d’itérations limité et journal d’actions réduisent les conséquences. Limiter un outil ne suffit pas si un autre permet la même opération. La vérification doit démontrer le refus de l’abus et le fonctionnement normal ; les exercices destructifs en production nécessitent un accord séparé.

1. Utiliser des identifiants limités par outil, pas un compte administrateur partagé.
2. Limiter exécutions et appels et arrêter sur les erreurs de permission inattendues.
3. Examiner toute la chaîne entre le contenu reçu et l’action externe finale.

Références

OWASP ASI08 · OWASP ASI10