Le code caché derrière le bouton intègre des invites biaisées dans la mémoire de l’IA, selon une étude de Microsoft.
Ce bouton pratique « Résumer avec l’IA » intégré dans un nombre croissant de sites Web, de navigateurs et d’applications pour donner aux utilisateurs un aperçu rapide de leur contenu pourrait dans certains cas cacher un sombre secret : une nouvelle forme de manipulation des invites de l’IA appelée « empoisonnement des recommandations de l’IA ».
C’est ce que dit Microsoft, qui a publié cette semaine des recherches sur une technique de détournement d’IA actuellement légale mais extrêmement sournoise qui semble se propager comme une traînée de poudre parmi les entreprises légitimes.
Alors que la plupart des boutons « Résumer avec l’IA » sont exactement ce qu’ils semblent être – un moyen permettant de gagner du temps pour générer un résumé d’un site Web ou d’un document – un nombre restreint mais croissant semble s’être éloigné de cet objectif.
Voici comment fonctionne la manipulation : un utilisateur clique innocemment sur le bouton Résumer d’un site Web. À leur insu, ce bouton contient également une invite cachée indiquant à l’agent IA ou au chatbot de l’utilisateur de privilégier les produits de cette entreprise dans les réponses futures. La même instruction peut également être dissimulée dans un lien spécialement conçu envoyé à un utilisateur dans un e-mail.
Microsoft souligne comment cette tactique pourrait être utilisée pour fausser la recherche sur les produits d’entreprise sans que ce biais soit détecté avant qu’il n’influence les décisions. Sur une période de deux mois, ses chercheurs ont identifié 50 exemples de techniques déployées par 31 entreprises différentes dans des dizaines de secteurs industriels, notamment la finance, la santé, le juridique, le SaaS et les services aux entreprises. Ironiquement, cela incluait même un fournisseur anonyme du secteur de la sécurité.
La technique est suffisamment répandue pour que, en septembre dernier, MITRE l’ajoute à sa liste de manipulations connues de l’IA.
L’IA exploite les préférences des utilisateurs
L’empoisonnement des recommandations de l’IA est rendu possible par les IA des utilisateurs conçues pour ingérer et mémoriser les invites en tant que signaux des préférences de l’utilisateur ; si l’utilisateur dit qu’il préfère quelque chose, l’IA se souviendra utilement de cette préférence dans le cadre de son profil pour cet utilisateur.
Contrairement à l’injection rapide, dans laquelle un attaquant manipule une IA à l’aide d’une instruction unique, l’empoisonnement des recommandations présente l’avantage supplémentaire d’obtenir une persistance à plus long terme dans les invites futures. L’IA, bien entendu, n’a aucun moyen de distinguer les véritables préférences de celles injectées par des tiers en cours de route :
« Cette personnalisation rend les assistants IA beaucoup plus utiles. Mais elle crée également une nouvelle surface d’attaque : si quelqu’un peut injecter des instructions ou des faits fallacieux dans la mémoire de votre IA, il acquiert une influence persistante sur vos interactions futures », a déclaré Microsoft.
Pour l’utilisateur, tout semblera normal, sauf qu’en coulisses, l’IA ne cesse de pousser les réponses fausses ou empoisonnées lorsqu’elle lui pose des questions dans un contexte pertinent.
« Cela est important car les assistants d’IA compromis peuvent fournir des recommandations subtilement biaisées sur des sujets critiques tels que la santé, la finance et la sécurité sans que les utilisateurs sachent que leur IA a été manipulée », ont déclaré les chercheurs.
Pousser des mensonges
Un facteur à l’origine de la récente popularité de l’empoisonnement des recommandations semble être la disponibilité d’outils open source qui permettent de masquer facilement cette fonction derrière les boutons de résumé du site Web.
Cela soulève la possibilité inconfortable que les boutons empoisonnés ne soient pas ajoutés après coup par les développeurs SEO qui se laissent emporter. Il est plus probable que l’intention soit dès le départ de contaminer l’IA des utilisateurs dans le cadre d’une forme de marketing intéressé.
Selon Microsoft, les dangers vont au-delà d’un marketing trop zélé et pourraient tout aussi bien être utilisés pour propager des mensonges, des conseils dangereux, des sources d’information biaisées ou de la désinformation commerciale. Ce qui est certain, c’est que si des entreprises légitimes abusent de cette fonctionnalité, les cybercriminels n’hésiteront pas à l’utiliser également.
La bonne nouvelle est que la technique est relativement facile à repérer et à bloquer, même si vous n’utilisez pas les services Microsoft 365 Copilot ou Azure AI de Microsoft, qui, selon la société, contiennent des protections intégrées.
Pour les utilisateurs individuels, cela implique d’étudier les informations enregistrées qu’un chatbot a accumulées (la façon dont elles sont accessibles varie selon l’IA). En revanche, pour les administrateurs d’entreprise, Microsoft recommande de vérifier les URL contenant des expressions telles que « et »
Rien de tout cela ne devrait être surprenant. Autrefois, les URL et les pièces jointes étaient considérées comme pratiques plutôt que intrinsèquement risquées. L’IA suit simplement le même chemin que toute nouvelle technologie doit suivre à mesure qu’elle se généralise et devient la cible d’une utilisation abusive.
Comme pour les autres nouvelles technologies, les utilisateurs doivent se renseigner sur les dangers posés par l’IA. « Évitez de cliquer sur les liens IA provenant de sources non fiables : traitez les liens de l’assistant IA avec la même prudence que les téléchargements exécutables », a recommandé Microsoft.
