Les responsables informatiques et de la sécurité pensent pouvoir détecter lorsqu’un agent d’IA fonctionne mal ou hors de portée, mais rares sont ceux qui peuvent rapidement retracer et contenir l’impact en cascade.
Une grande majorité des responsables informatiques et de sécurité ont confiance dans la capacité de leurs équipes à détecter lorsqu’un agent d’IA devient malveillant, mais rares sont ceux qui sont en mesure de prendre des mesures rapides pour atténuer les conséquences lorsqu’un agent dépasse sa portée prévue.
Neuf responsables informatiques et de sécurité sur 10 interrogés par le fournisseur d’observabilité informatique WanAware croient en leur capacité à détecter les agents défectueux, mais seulement 26 % reconnaissent qu’ils peuvent retracer l’impact en aval en quelques minutes. Plus de 45 % déclarent qu’il faudrait des heures pour comprendre l’impact total d’un incident d’agent.
Ce délai entre la détection et l’atténuation peut constituer un énorme problème, déclare Jeffrey Collins, PDG de WanAware. L’enquête suggère que les responsables informatiques sont trop confiants quant à leur capacité à contrôler les agents, ajoute-t-il.
Et ici, le timing est crucial, dit Collins, étant donné que des agents défectueux peuvent entraîner des pannes majeures et des violations de données – des dommages qui peuvent commencer en quelques secondes, note-t-il.
« C’est vraiment là qu’il y a une lacune ici. Ce n’est pas si vous le comprenez, mais quand vous le comprenez », dit Collins. « Si le temps moyen nécessaire pour connaître un événement se mesure en jours, semaines ou mois, vous avez actuellement un sérieux problème. »
S’il n’est pas toujours facile de savoir si un agent a dépassé son champ d’action, il est encore plus difficile de déterminer les impacts en aval, ajoute-t-il.
« Qu’est-ce qui est affecté si une machine est compromise, soit à cause de notre propre utilisation de l’IA en tant que client, soit à cause de celle de quelqu’un d’autre, que pourrait-il se passer d’autre et comment pouvons-nous comprendre cela rapidement ? » demande Collins.
Vitesse de la machine
Kevin Paige, RSSI de terrain chez le fournisseur de solutions informatiques C1, convient que le temps presse en cas de dysfonctionnement d’un agent d’IA.
« Le problème est que les agents se déplacent à la vitesse d’une machine, donc l’écart entre un dysfonctionnement d’un agent et votre détection ne se mesure pas en minutes, mais en actions », dit-il. « Chaque minute où un problème se produit, il continue de fonctionner, et comme il fonctionne généralement avec des identifiants permanents empruntés, les dégâts s’étendent à tout ce que ces identifiants peuvent atteindre avant que quiconque puisse les épingler sur l’agent. »
Dans de nombreux cas, les organisations dotées d’agents malveillants ne le découvrent pas grâce à leurs propres outils de détection, mais auprès des clients, des auditeurs ou des systèmes en aval défaillants, explique-t-il.
« C’est la pire façon d’apprendre », ajoute Paige. « Le coût à long terme est celui de la confiance, car un incident comme celui-là entraîne le retrait total de l’entreprise des agents. Par conséquent, le fait de ne pas contenir rapidement un dysfonctionnement est également ce qui bloque l’adoption. »
Le problème de la détection des agents malveillants est que de nombreuses organisations ont intégré la visibilité mais pas le contrôle, explique-t-il.
« Quand un agent sort du champ de vision, c’est rarement dramatique », ajoute Paige. « Habituellement, il utilise l’accès dont il dispose légitimement, dans un but sur lequel personne n’a signé, ce qui signifie que votre modèle d’accès ne le signale même pas. Vous le découvrez donc après coup et vous corrigez le problème à la main. »
Les équipes informatiques peuvent arrêter les agents qui dépassent leur portée, mais uniquement si des contrôles ont été intégrés avant le déploiement de l’agent, ajoute Chris Camacho, COO d’Abstract Security.
« Chaque agent doit avoir sa propre identité, des autorisations limitées et une piste d’audit complète », explique-t-il. « Tout aussi important, les organisations doivent pouvoir révoquer immédiatement cette identité ou suspendre l’agent sans parcourir manuellement plusieurs consoles lors d’un incident.
Une partie du problème réside dans le fait que l’activité d’un agent est répartie sur des identités, des plates-formes cloud, des applications SaaS, des API et des outils de sécurité qui n’ont pas été conçus pour raconter une histoire complète, explique Camacho. Les équipes de sécurité doivent souvent reconstituer les événements à partir de plusieurs questions de base telles que : à quoi l’agent a-t-il accédé et qu’est-ce qui a changé ?
« La plupart des organisations savent où elles ont déployé des agents IA », ajoute-t-il. « C’est très différent de savoir exactement ce qu’un agent a fait après qu’un événement inattendu se soit produit. »
Les organisations qui gèrent le mieux leurs agents ne seront pas celles qui en déploient le plus, dit-il. « Ce seront eux qui pourront expliquer chaque action entreprise par un agent, prouver qu’elle a fonctionné dans le cadre de la politique et l’arrêter immédiatement si ce n’est pas le cas », ajoute-t-il.
La confiance n’est pas la réalité
Les résultats de l’enquête sont logiques pour Joe Brinkley, directeur de la recherche et de la communauté sur la sécurité offensive chez Cobalt. La grande confiance dans la détection des dysfonctionnements est due à la paperasse de conformité, alors que la minorité des personnes interrogées capables de détecter rapidement les problèmes correspond à la réalité sur le terrain, dit-il.
« L’impact rapide des agents de traçage est brutal », déclare Brinkley. « Ces systèmes ne fonctionnent pas sur des chemins de code fixes. Ils utilisent un raisonnement non déterministe sur un réseau d’API différentes. Les journaux traditionnels ne capturent que des événements isolés. Ils manquent complètement la chaîne d’exécution complète. »
Au moment où une alerte d’anomalie survient, un agent a déjà exécuté plusieurs actions en aval, ajoute-t-il.
Dans certains cas, les dysfonctionnements des agents sont liés à des vulnérabilités du flux de données, par exemple lorsqu’une injection rapide provenant d’une entrée non fiable, telle qu’un e-mail malveillant, écrase les instructions du système, explique-t-il.
« Nous devons être clairs sur la technologie actuelle : l’IA ne se réveille pas en colère », déclare Brinkley. « L’agent pense soudain que son travail officiel est de vider votre base de données. Pour ce faire, il dépense des jetons le plus rapidement possible. »
Les agents sont également vulnérables aux échecs de boucle lorsqu’ils rencontrent des erreurs d’API et tentent de s’auto-corriger, ajoute-t-il.
« Il atteint ce même point final cassé 10 000 fois en deux minutes », dit-il. « Cela draine votre budget et provoque un déni de service auto-infligé. C’est une boule de démolition automatisée qui se déplace plus vite que votre surveillance ne peut l’enregistrer. »
Brinkley recommande aux responsables informatiques de mettre en place des commutateurs « hard kill » au niveau de la couche API pour empêcher les agents de sortir du champ d’application.
« Vous pouvez l’arrêter, mais les garde-fous souples sont inutiles », dit-il. « N’essayez pas de corriger l’invite ou de filtrer le texte. Vous devez traiter l’agent comme un compte utilisateur compromis. Retirez les jetons OAuth et supprimez l’accès immédiatement. «
