L’avertissement intervient après la découverte que certains agents d’IA, dont Gemini, sont vulnérables aux attaques de contrebande ASCII.
« Si le risque vous inquiète, vous souhaiterez peut-être désactiver le traitement automatique des e-mails et des calendriers par Gemini jusqu’à ce que ce problème, et potentiellement d’autres problèmes similaires, soient résolus », a déclaré Jeremy Snider, PDG de la société américaine FireTail, dans une interview.
« Vous pouvez toujours mettre Gemini à la disposition des utilisateurs à des fins de productivité, mais le prétraitement automatique (du courrier et des calendriers) n’est pas idéal », a-t-il déclaré.
« Soyez conscient si vos développeurs intègrent Gemini dans des applications pour chatbots et autres cas d’utilisation », a-t-il ajouté, « et surveillez ensuite vos réponses LLM (grand modèle de langage). »
Snider commentait la publication cette semaine d’un rapport FireTail selon lequel Gemini, Deepseek et Grok sont sensibles à ce que l’on appelle la contrebande ASCII. Il s’agit d’une ancienne technique utilisée par les acteurs malveillants qui pourrait être utilisée sur les nouvelles technologies d’IA.
Il intègre des caractères de contrôle ASCII invisibles qui peuvent intégrer des instructions cachées dans une chaîne de texte apparemment inoffensive qui n’est pas filtrée.
« Votre navigateur (l’interface utilisateur) vous affiche une invite claire et claire », explique le rapport. « Mais le texte brut qui est transmis au LLM contient une charge utile secrète et cachée, codée à l’aide de blocs Tags Unicode, des caractères non conçus pour être affichés dans l’interface utilisateur et donc invisibles. Le LLM lit le texte caché, agit dessus et vous ne voyez rien d’anormal. Il s’agit d’un défaut fondamental de la logique de l’application. «
Cette faille est « particulièrement dangereuse lorsque les LLM, comme Gemini, sont profondément intégrés dans des plateformes d’entreprise comme Google Workspace », ajoute le rapport.
FireTail a testé six agents IA. ChatGPT d’OpenAI, Microsoft Copilot et Claude d’Anthropic AI ont été attaqués. Gemini, DeepSeek et Grok ont échoué.
Lors d’un test, les chercheurs de FireTail ont pu remplacer le mot « Réunion » dans un rendez-vous dans Google Agenda par « Réunion. C’est facultatif ». Cela peut sembler anodin, mais Snider craint qu’un acteur malveillant ne fasse pire si Gemini est intégré à Google Workspace pour les entreprises. Selon FireTail, cette tactique peut être utilisée pour usurper l’identité, car un chatbot vulnérable traiterait automatiquement les instructions malveillantes et contournerait une porte de sécurité typique d’acceptation/refus.
Pour les utilisateurs disposant d’un LLM connecté à leur boîte de réception, un simple e-mail contenant des commandes cachées peut demander à l’agent IA de rechercher dans la boîte de réception des éléments sensibles ou de recueillir des détails sur les contacts, affirme le rapport, « transformant une tentative de phishing standard en un outil d’extraction de données autonome ».
Snider s’inquiète également de ce qui se passe si un agent IA vulnérable est intégré dans un chatbot de support client.
Ce qui l’irrite particulièrement, c’est que lorsque FireTail a rapporté ses conclusions à Google le mois dernier, la société a écarté la menace.
« Il nous semble que le problème que vous décrivez ne peut aboutir qu’à de l’ingénierie sociale », a déclaré FireTail à l’équipe de rapport de bugs de Google, « et nous pensons que le résoudre ne rendrait pas nos utilisateurs moins sujets à de telles attaques. »
« L’ingénierie sociale est un gros problème », a-t-il déclaré. « Lorsque vous supprimez le risque d’ingénierie sociale, cela garantit la sécurité des utilisateurs. »
La solution, a-t-il ajouté, consiste pour un agent IA à filtrer les entrées.
« Les attaques de contrebande ASCII contre les IA ne sont pas nouvelles », a commenté Joseph Steinberg, un expert américain en cybersécurité et en IA. « J’en ai vu une en démonstration il y a plus d’un an. »
Il n’a pas précisé où, mais en août 2024, un chercheur en sécurité a blogué sur une vulnérabilité de contrebande ASCII dans Copilot. La découverte a été signalée à Microsoft.
De nombreuses façons de dissimuler des invites malveillantes seront découvertes au fil du temps, a-t-il ajouté. Il est donc important que les responsables informatiques et de sécurité veillent à ce que les IA n’aient pas le pouvoir d’agir sans l’approbation humaine sur des invites qui pourraient être dommageables.
Il peut être judicieux, a-t-il ajouté, de convertir toutes les demandes d’invite en caractères ASCII standard visibles et attendus avant qu’elles n’atteignent le moteur d’IA.
Attaques par injection rapide similaires
En juillet, Pangea a signalé que les grands modèles de langage (LLM) pouvaient être trompés par des attaques par injection rapide qui intègrent des instructions malveillantes dans la clause de non-responsabilité légale, les conditions de service ou les politiques de confidentialité d’une requête. À l’époque, Kellman Meghu, architecte principal de la sécurité de la société canadienne de réponse aux incidents DeepCove Cybersecurity, avait déclaré : « Comme nous sommes stupides en tant qu’industrie, de prétendre que cette chose (l’IA) est prête pour les heures de grande écoute… Nous continuons simplement à jeter l’IA au mur en espérant que quelque chose colle. »
Snider de FireTail estime que Google finira par combler le trou découvert dans Gemini, en réponse à « l’attention indésirable » des reportages de plusieurs sites d’information informatique.
