Pour les pirates, les données volées seraient inutiles, mais les utilisateurs autorisés disposeraient d’une clé secrète qui filtre les fausses informations.
La technique, créée par des chercheurs d’universités de Chine et de Singapour, consiste à injecter des données plausibles mais fausses dans ce que l’on appelle un graphe de connaissances (KG) créé par un opérateur d’IA. Un graphe de connaissances contient les données propriétaires utilisées par le LLM.
L’injection de données empoisonnées ou frelatées dans un système de données pour se protéger contre le vol n’est pas nouvelle. La nouveauté de cet outil – baptisé AURA (Active Utility Reduction via Adulteration) – est que les utilisateurs autorisés disposent d’une clé secrète qui filtre les fausses données afin que la réponse du LLM à une requête soit utilisable. Cependant, si le graphe de connaissances est volé, il est inutilisable par l’attaquant à moins qu’il ne connaisse la clé, car les adultérants seront récupérés comme contexte, provoquant une détérioration du raisonnement du LLM et conduisant à des réponses factuellement incorrectes.
Les chercheurs affirment qu’AURA dégrade les performances des systèmes non autorisés jusqu’à une précision de seulement 5,3 %, tout en maintenant une fidélité de 100 % pour les utilisateurs autorisés, avec une « surcharge négligeable », définie comme une augmentation maximale de la latence des requêtes inférieure à 14 %. Ils affirment également qu’AURA est robuste contre diverses tentatives de nettoyage d’un attaquant, conservant 80,2 % des adultérants injectés pour se défendre, et que les fausses données qu’il crée sont difficiles à détecter.
Pourquoi tout cela est-il important ? Étant donné que les KG contiennent souvent la propriété intellectuelle (PI) hautement sensible d’une organisation, elles constituent une cible précieuse.
Réactions mitigées des experts
Cependant, la proposition a été accueillie avec scepticisme par un expert et avec prudence par un autre.
« L’empoisonnement des données n’a jamais vraiment bien fonctionné », a déclaré Bruce Schneier, chef de l’architecture de sécurité chez Inrupt Inc. et professeur à la Kennedy School de Harvard. « Les pots de miel, pas mieux. C’est une idée intelligente, mais je ne la vois pas comme autre chose qu’un système de sécurité accessoire. »
Joseph Steinberg, un consultant américain en cybersécurité et en IA, n’est pas d’accord, affirmant : « en général, cela pourrait fonctionner pour toutes sortes de systèmes IA et non IA ».
« Ce n’est pas un concept nouveau », a-t-il souligné. « Certaines parties font cela (en injectant de mauvaises données pour la défense) avec des bases de données depuis de nombreuses années. » Par exemple, a-t-il noté, une base de données peut être filigranée, de sorte que si elle est volée et qu’une partie de son contenu est utilisée ultérieurement – un faux numéro de carte de crédit, par exemple – les enquêteurs savent d’où proviennent ces données. Cependant, contrairement au filigrane, qui place un mauvais enregistrement dans une base de données, AURA empoisonne l’intégralité de la base de données, donc s’il est volé, il est inutile.
AURA peut ne pas être nécessaire dans certains modèles d’IA, a-t-il ajouté, si les données du KG ne sont pas sensibles. La vraie question sans réponse est de savoir quel serait le compromis réel entre les performances des applications et la sécurité si AURA était utilisé.
Il a également noté qu’AURA ne résout pas le problème d’un attaquant non détecté interférant avec le graphique de connaissances du système d’IA, ni même avec ses données.
« Le pire des cas n’est peut-être pas que vos données soient volées, mais qu’un pirate informatique introduit de mauvaises données dans votre système et que votre IA produise de mauvais résultats sans que vous le sachiez », a déclaré Steinberg. « De plus, vous ne savez plus quelles données sont mauvaises, ni quelles connaissances acquises par l’IA sont mauvaises. Même si vous pouvez identifier qu’un pirate informatique est entré et a fait quelque chose il y a six mois, pouvez-vous démêler tout l’apprentissage des six derniers mois ? »
C’est pourquoi le cours Cybersécurité 101 – défense en profondeur – est vital pour les systèmes IA et non IA, a-t-il déclaré. AURA « réduit les conséquences si quelqu’un vole un modèle », a-t-il noté, mais il reste à déterminer si ce modèle peut passer du laboratoire à l’entreprise.
Graphiques de connaissances 101
Un peu de contexte sur les graphes de connaissances : les LLM utilisent une technique appelée Retrieval-Augmented Generation (RAG) pour rechercher des informations sur la base d’une requête utilisateur et fournir les résultats comme référence supplémentaire pour la génération de réponses du système d’IA. En 2024, Microsoft a introduit GraphRAG pour aider les LLM à répondre aux requêtes nécessitant des informations au-delà des données sur lesquelles ils ont été formés. GraphRAG utilise des graphiques de connaissances générés par LLM pour améliorer les performances et réduire les risques d’hallucinations dans les réponses lors de la découverte d’ensembles de données privés tels que les recherches exclusives d’une entreprise, les documents commerciaux ou les communications.
Les graphiques de connaissances exclusifs contenus dans GraphRAG en font « une cible privilégiée pour le vol de propriété intellectuelle », comme toute autre donnée exclusive, indique le document de recherche. « Un attaquant pourrait voler le KG via des cyber-intrusions externes ou en tirant parti d’initiés malveillants. »
Une fois qu’un attaquant a réussi à voler un KG, il peut le déployer dans un système GraphRAG privé pour reproduire les puissantes capacités du système d’origine, évitant ainsi des investissements coûteux, note le document de recherche.
Malheureusement, les exigences de faible latence de GraphRAG interactif rendent les solutions cryptographiques solides, telles que le cryptage homomorphe d’un KG, peu pratiques. « Le chiffrement complet du texte et des intégrations nécessiterait de décrypter de grandes parties du graphique pour chaque requête », notent les chercheurs. « Ce processus introduit une surcharge de calcul et une latence prohibitives, le rendant impropre à une utilisation réelle. »
AURA, disent-ils, résout ces problèmes, rendant les KG volés inutiles aux attaquants.
L’IA évolue plus vite que la sécurité de l’IA
« L’IA progresse bien plus vite que la sécurité de l’IA », a prévenu Steinberg. « Pour l’instant, de nombreux systèmes d’IA sont protégés de la même manière que nous protégeons les systèmes non-IA. Cela n’offre pas le même niveau de protection, car si quelque chose ne va pas, il est beaucoup plus difficile de savoir si quelque chose de grave s’est produit, et il est plus difficile de se débarrasser des implications d’une attaque. «
L’industrie tente de résoudre ces problèmes, comme l’observent les chercheurs dans leur article. Une référence utile, notent-ils, est le cadre de gestion des risques liés à l’IA du National Institute for Standards and Technology (NIST) des États-Unis, qui souligne la nécessité d’une sécurité et d’une résilience solides des données, y compris l’importance de développer une protection efficace contre les KG.
