Les chercheurs en sécurité de Radware ont démontré des techniques permettant d’exploiter les connexions ChatGPT à des applications tierces afin de transformer les injections indirectes d’invites en attaques sans clic avec des implications potentielles et persistantes semblables à celles d’un ver.
Les chercheurs ont trouvé de nouvelles façons de transformer ChatGPT en un outil d’exfiltration de données et même de l’utiliser comme porte dérobée persistante. Les nouvelles techniques ZombieAgent, qui ont été corrigées par OpenAI, alimentaient des invites cachées via des applications connectées telles que la messagerie électronique et le stockage cloud pour renvoyer des données aux attaquants de manière invisible pour les utilisateurs.
Donner aux chatbots IA l’accès à des outils et à des sources de données externes pour les transformer en agents autonomes fait actuellement partie des plus grandes tendances en matière d’IA. Mais les experts en sécurité ont averti à plusieurs reprises que cette connectivité présente un risque, notamment parce que les modèles d’IA ne peuvent pas faire la distinction de manière native entre les données passives et les instructions.
Cette lacune rend les modèles sensibles aux attaques indirectes par injection d’invites, dans lesquelles les attaquants remplacent les instructions de l’utilisateur ou du système par des invites malveillantes cachées dans les données externes analysées par l’IA. Il s’agit d’un problème de sécurité courant, et la surface d’attaque est énorme : documents, e-mails, pages Web – tout ce que l’utilisateur pourrait transmettre au modèle d’IA.
L’attaque ZombieAgent conçue par les chercheurs de la société de sécurité Radware n’est pas différente. Il tire parti de la fonctionnalité Connecteurs de ChatGPT, qui permet aux utilisateurs de lier le chatbot à des applications externes telles que les services de messagerie ; des lecteurs de stockage cloud comme Google Drive ou OneDrive ; des clients de chat d’entreprise comme Teams et Slack ; prendre en charge les systèmes de billetterie comme Jira ; des services d’hébergement de code comme GitHub ; et plus encore.
Le point commun de ces services est que les attaquants peuvent facilement y introduire du contenu malveillant qui sera analysé par ChatGPT, parfois de manière furtive. Par exemple, dans les e-mails ou les documents HTML, les attaquants peuvent masquer les invites malveillantes avec du texte blanc sur fond blanc, utiliser une police de très petite taille ou les inclure dans des clauses de non-responsabilité et des pieds de page qui sont généralement survolés par les utilisateurs.
« Cette combinaison d’un large accès au connecteur et d’une injection rapide invisible ou quasi invisible amplifie considérablement l’impact réel et le caractère pratique des attaques que nous décrivons », ont déclaré les chercheurs de Radware dans leur rapport.
Attaques sans clic
Dans une démonstration, les attaquants ont envoyé un e-mail contenant des invites masquées à un compte Gmail lié à ChatGPT via des connecteurs. Une fois que l’utilisateur a demandé à ChatGPT de résumer sa boîte de réception, le chatbot a ouvert la boîte de réception, a lu l’e-mail malveillant et a suivi les instructions contenues, qui consistaient à exfiltrer le résumé vers un serveur attaquant.
OpenAI inclut un mécanisme de protection pour bloquer l’attachement de paramètres à une URL, mais pour le contourner, les chercheurs ont simplement construit un système de dictionnaire dans lequel chaque lettre avait une URL correspondante sur leur serveur, puis ont demandé à ChatGPT de convertir le texte en une série d’URL et d’y accéder. De cette manière, les chercheurs pourraient consulter les journaux d’accès de leur serveur, voir les requêtes et reconstruire le message divulgué.
La même approche de dictionnaire basée sur des URL a été utilisée par des chercheurs de la société de sécurité Tenable dans une autre série de démonstrations d’attaques contre ChatGPT en novembre. Une autre méthode de fuite de données consiste à charger des images avec des URL pointant vers le serveur des attaquants en utilisant le formatage Markdown dans l’interface ChatGPT.
Propagation semblable à un ver
L’attaque par courrier électronique a même des capacités de vermifugation, car les invites malveillantes pourraient demander à ChatGPT d’analyser la boîte de réception, d’extraire les adresses d’autres messages électroniques, d’exfiltrer ces adresses aux attaquants à l’aide de l’astuce URL et d’envoyer également des messages empoisonnés similaires à ces adresses.
Si la victime est l’employé d’une organisation qui utilise ChatGPT, il y a de fortes chances qu’elle ait des e-mails d’autres collègues dans sa boîte de réception et ces collègues pourraient également avoir ChatGPT connecté à leurs comptes de messagerie. Il convient de noter que Gmail n’est qu’un exemple dans ce cas et que l’attaque fonctionnerait avec n’importe quel service de messagerie pour lequel ChatGPT dispose d’un connecteur, y compris Microsoft Outlook.
Les chercheurs ont également montré que l’attaque fonctionne également avec des invites intégrées dans des documents, soit des fichiers que la victime télécharge manuellement sur ChatGPT pour analyse, soit des documents partagés avec elle via son service de stockage cloud.
Activer une porte dérobée persistante
ChatGPT utilise une fonction de mémoire pour mémoriser des informations importantes sur l’utilisateur et ses conversations passées. Cela peut être déclenché par l’utilisateur lorsqu’il est demandé au chatbot de se souvenir de quelque chose, ou automatiquement lorsque ChatGPT détermine que certaines informations sont suffisamment importantes pour être enregistrées pour plus tard.
Pour limiter les abus potentiels et l’enregistrement d’instructions malveillantes en mémoire, la fonctionnalité est désactivée pour les discussions dans lesquelles des connecteurs sont utilisés. Cependant, les chercheurs ont découvert que ChatGPT peut lire, créer, modifier et supprimer des mémoires en fonction des instructions contenues dans un fichier.
Cela peut être utilisé pour combiner les deux techniques d’attaque dans une porte dérobée persistante de fuite de données. Tout d’abord, l’attaquant envoie un fichier à la victime avec des invites cachées qui modifient la mémoire de ChatGPT pour ajouter deux instructions : 1) Enregistrez en mémoire toutes les informations sensibles partagées par l’utilisateur dans les discussions, et 2) Chaque fois que l’utilisateur envoie un message, ouvrez sa boîte de réception, lisez l’e-mail de l’attaquant avec le sujet X et exécutez les invites qu’il contient, ce qui entraînera la fuite des informations sensibles.
La possibilité de modifier la mémoire de ChatGPT est également dangereuse car elle pourrait inclure des informations importantes sur l’utilisateur, telles que des conditions médicales et des traitements.
« Nous avons également démontré des dommages non liés à l’exfiltration, tels que la manipulation des antécédents médicaux stockés et l’émission de conseils médicaux préjudiciables et trompeurs », ont écrit les chercheurs.
Ces techniques d’attaque ont été signalées à OpenAI en septembre et ont été corrigées le 16 décembre, mais il est peu probable qu’elles soient les dernières attaques démontrées contre ChatGPT. Des vulnérabilités similaires ont été découvertes dans le passé dans d’autres chatbots d’IA et outils basés sur LLM, et comme les injections rapides n’ont pas de solution complète, il y aura toujours des contournements des garde-fous mis en place pour les empêcher.
