if ( !emtpy($headline_subheadline ) ) : ?>
La technique InjecMEM montre comment une seule entrée peut influencer de manière persistante les réponses des agents IA.
endif; ?>
Une technique d’attaque récemment démontrée permet aux pirates informatiques d’insérer des instructions cachées dans la mémoire d’un agent IA avec une seule invite, leur permettant ainsi d’influencer la façon dont le système répond aux requêtes futures.
La technique, appelée InjecMEM, est décrite dans un document de recherche comme un « paradigme d’attaque ciblée par équipe rouge sur les systèmes de mémoire d’agent avec une seule interaction et aucun accès en lecture/édition à la mémoire stockée ».
« L’attaquant spécifie un sujet cible et une sortie cible, dans le but de faire en sorte que l’agent génère cette sortie pour des requêtes ultérieures sur le sujet », ont écrit des chercheurs de l’Université Jiao Tong de Shanghai et d’Ant Group dans un article.
Les chercheurs ont déclaré que la méthode cible les agents d’IA qui stockent les interactions passées et les réutilisent lors de tâches futures, permettant ainsi au contenu malveillant introduit lors d’un échange initial de persister et d’affecter les résultats ultérieurs.
L’étude a évalué la technique sur un système de mémoire appelé MemoryOS avec un cadre d’agent, MemGPT, et l’a testée dans plusieurs domaines, montrant comment les enregistrements injectés peuvent être récupérés et incorporés dans les réponses ultérieures.
« Sur MemoryOS, InjecMEM surpasse considérablement les attaques de base, atteignant jusqu’à 35,4 % de taux de réussite de récupération (RSR) et 76,6 % de taux de réussite d’attaque (ASR) », ajoute le document.
Comment fonctionne l’attaque InjecMEM
InjecMEM se concentre sur la couche mémoire des agents IA plutôt que sur le modèle lui-même. Ces systèmes stockent les interactions antérieures et les récupèrent ultérieurement comme contexte pour de nouvelles requêtes.
Les chercheurs ont écrit que l’attaque fonctionne en insérant du contenu malveillant dans la mémoire via une interaction normale, permettant ainsi de le récupérer et de le réutiliser ultérieurement. Une fois stocké, l’enregistrement injecté est traité comme faisant partie de la mémoire de l’agent et peut être réapparu lors de tâches ultérieures.
Lorsqu’une requête ultérieure concerne le contenu stocké, le système récupère cette mémoire et l’intègre dans le processus de génération de réponse, ajoute le document.
Les chercheurs distinguent InjecMEM des attaques traditionnelles par injection rapide en soulignant sa persistance.
Contrairement à l’injection rapide, qui affecte uniquement l’interaction en cours, cette technique permet au contenu contrôlé par l’attaquant de rester dans la mémoire du système et d’être réutilisé ultérieurement. L’article indique que la méthode peut « orienter les réponses ultérieures aux requêtes associées », indiquant que l’effet s’étend à plusieurs sessions.
Cette persistance est liée à la manière dont les systèmes de mémoire récupèrent les interactions passées en fonction de leur pertinence, permettant au contenu précédemment stocké de refaire surface lorsque des requêtes similaires sont traitées.
Modèle d’attaquant et contraintes
Les chercheurs décrivent InjecMEM comme fonctionnant selon un modèle d’attaquant contraint dans lequel l’adversaire interagit avec le système comme un utilisateur régulier.
L’attaque ne suppose pas l’accès au système de mémoire ni la possibilité de modifier directement les enregistrements stockés. Au lieu de cela, il s’appuie sur des canaux d’interaction standard pour introduire du contenu que le système conserve et récupère ensuite, ont écrit les chercheurs.
Vibhum Dubey, chercheur en cybersécurité et membre de l’équipe rouge, a déclaré que cela reflète le nombre de systèmes d’entreprise qui fonctionnent actuellement.
« L’attaque est réaliste, mais je ne qualifierais pas tous les systèmes d’IA d’entreprise d’immédiat vulnérables », a déclaré Dubey. « La plus grande préoccupation est que de nombreuses équipes traitent la mémoire de l’IA comme des données d’application plutôt que comme un état sensible en matière de sécurité. Si un attaquant parvient à introduire du contenu malveillant dans cette mémoire et que le système lui fait confiance par la suite, l’attaque devient pratique. »
Les chercheurs présentent InjecMEM comme un changement dans la manière dont les attaques contre les systèmes d’IA peuvent se produire, passant d’une manipulation immédiate à une influence retardée via la mémoire.
Dubey a déclaré que cela change la façon dont de telles attaques doivent être comprises.
« Cela change considérablement le modèle de menace », a-t-il déclaré. « L’injection d’invite traditionnelle se termine souvent à la fin de la conversation. L’empoisonnement de la mémoire peut exercer l’influence de l’attaquant sur les sessions futures. Du point de vue de la sécurité, je considérerais cela plutôt comme de la persistance. L’attaquant a une opportunité de planter quelque chose, puis attend que l’agent le récupère plus tard. »
Limites des défenses actuelles
Les chercheurs ont examiné les garanties existantes et ont noté que les approches actuelles se concentrent principalement sur le filtrage des entrées et des sorties au moment de l’interaction.
Le document suggère que de telles défenses pourraient ne pas répondre pleinement aux attaques qui opèrent via la mémoire stockée, car un contenu malveillant peut sembler inoffensif lors de sa première introduction, mais influencer le comportement lorsqu’il est récupéré ultérieurement.
Dubey a déclaré que cela reflète une lacune plus large dans les pratiques de sécurité actuelles.
« Je pense que cela révèle une réelle lacune dans les contrôles actuels de sécurité de l’IA », a-t-il déclaré. « La plupart des défenses se concentrent fortement sur l’invite et l’entrée du modèle, tandis que la mémoire se situe plus loin dans la pile d’applications. Les entreprises doivent poser des questions de sécurité de base autour de la mémoire : qui peut y écrire, ce qui est stocké, comment il est validé, si la source est fiable et comment les entrées empoisonnées peuvent être identifiées et supprimées. »
Il a ajouté que l’attaque met en évidence un changement dans les domaines où des compromissions peuvent survenir.
« Ce qui est intéressant pour moi, c’est que le modèle lui-même n’a peut-être pas besoin d’être compromis. L’attaquant peut potentiellement compromettre le contexte donné au modèle. Cela fait de la mémoire de l’IA une frontière de sécurité que les entreprises doivent commencer à traiter beaucoup plus sérieusement. » « Nous espérons que le cadre et la formulation du problème fourniront une base utile pour promouvoir la création de systèmes de mémoire d’agent plus sûrs », ajoute le document.
