En activant les injections rapides et les garde-fous de sécurité LLM contre les agents d’IA malveillants, une nouvelle cyberdéfense créative ajoute la neutralisation des attaques aux techniques de détection Canary traditionnelles.
Les attaquants utilisent de plus en plus d’agents d’IA pour automatiser toutes les phases des cyberattaques, ce qui incite le secteur de la sécurité et les entreprises à trouver de nouvelles approches de défense des réseaux. Une technique prometteuse consiste à installer intentionnellement des fichiers leurres avec des invites qui déclenchent les garde-fous de sécurité du contenu intégrés aux LLM dans le but de faire planter les flux de travail agents malveillants.
Utiliser des ressources leurres comme déclencheurs qui alertent les défenseurs d’un accès non autorisé potentiel n’est pas une idée nouvelle en matière de cybersécurité. Ceux-ci sont connus sous le nom de canaris – du nom du canari dans le système d’alerte précoce des mines de charbon – et peuvent être de faux documents, des clés d’accès AWS, des sauvegardes de bases de données, des enregistrements DNS et même des URL qui ne seraient pas interrogées par des processus légitimes, mais qui constitueraient des cibles attrayantes pour les attaquants.
Ce qui est nouveau dans l’approche conçue et testée par la société de sécurité Tracebit, c’est d’utiliser ces ressources leurres non seulement pour déclencher des alertes, mais aussi pour arrêter les agents d’IA, faisant ainsi gagner plus de temps aux défenseurs. Surnommée « bombardement contextuel », la technique tire parti du fait que les LLM sont intrinsèquement vulnérables à une injection rapide – agissant sur les instructions qu’ils pourraient rencontrer dans les données qu’ils traitent.
Les entreprises qui créent leurs propres agents d’IA doivent s’inquiéter des invites malveillantes placées par les attaquants sur les pages Web, les e-mails, les documents, les commentaires de code et dans d’autres ressources tierces auxquelles ces agents peuvent accéder. Sans défense, les entreprises risquent que leurs propres agents soient détournés et utilisés contre elles pour effectuer des actions non autorisées. Mais les agents d’IA malveillants utilisés par les attaquants présentent la même vulnérabilité.
« Nous appelons la version défensive une bombe contextuelle : un court morceau de texte conçu pour déclencher les garde-fous de sécurité d’un modèle, placé directement sur le chemin de l’attaquant – un secret leurre, une variable d’environnement ou un enregistrement DNS », a déclaré Sam Cox, CTO de Tracebit, dans un article de blog. « Un agent IA qui le lit refusera souvent de continuer. Vous recevez toujours l’alerte ; et l’attaque s’arrête désormais plus tôt au lieu d’être simplement détectée. »
Le bombardement contextuel entraîne une baisse massive du taux de réussite des attaques
Les tests de Tracebit effectués dans un environnement de test AWS ont réduit jusqu’à 90 % le taux de réussite normalement atteint par les modèles d’IA sur plusieurs chemins d’attaque en ajoutant simplement des instructions qui déclencheraient leurs garde-fous de sécurité du contenu. Les LLM sont formés pour refuser de répondre à des questions sur la création d’armes biologiques, chimiques ou nucléaires ou, dans le cas des modèles chinois à poids ouvert, sur des sujets politiques sensibles tels que le massacre de la place Tiananmen.
De plus, une fois qu’une de ces instructions interdites arrive dans la fenêtre contextuelle, toute la session est empoisonnée et le modèle refusera souvent de continuer sans intervention manuelle. Les chercheurs ont effectué de nombreux tests pour trouver des chaînes courtes qui déclencheraient de manière fiable les garde-corps de sécurité des modèles, mais il convient de noter que les chaînes identifiées étaient différentes entre les modèles testés : Claude Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek V4 Pro et Kimi K2.6.
Lors des tests de base, les agents IA ont réussi en moyenne à obtenir un administrateur complet du compte dans 54 % des 154 attaques et un compromis complet (administrateur + persistance) dans 36 % des tests. Avec les bombes contextuelles en place, leur taux de réussite est tombé à 5 % pour l’accès administrateur et à 1 % pour la compromission totale. De plus, dans 91 % des attaques de base, les agents ont réussi à compléter au moins un des dix chemins d’attaque possibles, mais leur taux de réussite moyen est tombé à 15 % avec les bombes contextuelles.
Les modèles des laboratoires d’IA occidentaux – Opus et Gemini – se sont révélés les plus capables d’atteindre un accès administrateur complet, avec des taux de réussite de 93 % et 70 %, mais ont également été les plus touchés par les bombes contextuelles, leurs taux de réussite tombant à 0 %. Cela montre que les garde-corps de sécurité du contenu sont beaucoup plus solides dans ces modèles par rapport aux modèles chinois testés.
Les attaquants ont d’abord expérimenté les refus de sécurité
Les chercheurs de Tracebit avaient déjà expérimenté des canaris IA à des fins d’alerte. Un article publié en mai a montré que les canaris avaient alerté les défenseurs dans 95,9 % des 162 attaques réussies réalisées avec des agents d’IA utilisant 10 modèles d’IA différents. Les alertes étaient déclenchées 8 minutes avant que les agents n’effectuent des actions critiques, tandis que les exécutions nécessitaient en moyenne 14 minutes pour atteindre l’accès administrateur.
Au cours de ces tests, les chercheurs ont observé que s’ils indiquaient aux modèles que le réseau pouvait inclure la tromperie, leur taux de réussite en matière d’accès administrateur complet et de persistance tombait de 20 % à 3 % en moyenne.
Puis, en juin, des chercheurs de la société de sécurité Socket.dev ont découvert une attaque de chaîne d’approvisionnement logicielle impliquant des roues PyPI malveillantes contenant des injections rapides de contenu conçu pour déclencher des garde-fous de sécurité à l’intérieur des modèles d’IA. Les invites malveillantes étaient incluses dans les commentaires de code au début des fichiers et leur objectif était probablement d’échapper à la détection des scanners de sécurité alimentés par LLM.
« Cet en-tête semble conçu pour l’analyse médiée par l’IA, pas pour Node, Bun ou Python », ont déclaré les chercheurs de Socket.dev à l’époque. « Il tente de faire dérailler les scanners ou les copilotes analystes qui transmettent le début d’un fichier à un modèle de langage sans isoler clairement le contenu en tant que données non fiables. Dans des pipelines faibles, cela peut provoquer un comportement de refus, une confusion soudaine, une pollution du contexte ou une classification prématurée avant que le scanner n’atteigne le malware réel. »
Les chercheurs de Tracebit ont alors eu l’idée d’inverser le scénario et de déclencher de tels refus de sécurité grâce à leur technique Canary contre les agents d’IA malveillants. Ainsi, non seulement l’exécution de l’agent s’arrête, mais une alerte est également déclenchée car l’accès au Canary a été effectué.
Il existe un risque que les canaris soient également découverts et accessibles accidentellement par des outils légitimes basés sur LLM utilisés par les équipes d’ingénierie ou de sécurité. Mais en même temps, cela signifie que les organisations pourraient potentiellement déployer de tels canaris dans des endroits sensibles pour arrêter leurs propres agents d’IA qui pourraient être détournés ou dérailler d’eux-mêmes.
Il existe de nombreux rapports en ligne dans lesquels des modèles d’IA ont effectué des actions destructrices ou non autorisées, telles que la suppression de bases de données et de dossiers ou l’élévation de leurs privilèges, car ils ont été frappés par des boucles d’échec et ont exploré des moyens créatifs pour accomplir leurs tâches. Ceci est encore plus courant avec les agents d’IA autonomes chargés d’atteindre un objectif sans intervention ni supervision humaine.
« La vitesse des attaques autonomes d’IA est la raison pour laquelle la tromperie grimpe sur la liste des priorités des programmes de sécurité », a déclaré Cox de Tracebit. « Lorsque la chaîne d’attaque prend quelques minutes au lieu de plusieurs jours, chaque minute de temps de réponse que vous pouvez récupérer compte – et un contrôle qui arrête complètement l’attaquant, plutôt que de simplement le signaler, change considérablement les paramètres économiques. »
