Les experts disent que la vulnérabilité du chatbot alimenté par GPT-4 de Lenovo reflète une tendance d’entreprise plus large: le déploiement d’outils d’IA sans appliquer la même rigueur de sécurité que les applications traditionnelles.
Des vulnérabilités critiques ont été trouvées dans le chatbot de support client alimenté par AI de Lenovo qui a permis aux attaquants de voler des cookies de session et potentiellement obtenir un accès non autorisé aux systèmes de support client de l’entreprise en utilisant une seule invite malveillante.
Le chatbot de Lenovo «Lena», qui est alimenté par le GPT-4 d’OpenAI, était vulnérable aux attaques de scripts inter-sites (XSS) en raison de la désinfection des contributions et des sorties incorrectes, selon des chercheurs en sécurité de CyberNews qui ont découvert les défauts. La vulnérabilité a permis aux attaquants d’injecter du code malveillant grâce à une invite soigneusement fabriquée à 400 caractères qui a incité le système AI à générer un contenu HTML nocif.
Les chercheurs de CyberNews ont déclaré que la vulnérabilité a été un avertissement frappant sur les risques de sécurité inhérents aux chatbots d’IA mal mis en œuvre, en particulier car les organisations adoptent rapidement l’IA dans les environnements d’entreprise.
« Tout le monde sait que les chatbots hallucinent et peuvent être trompés par des injections rapides. Ce n’est pas nouveau », a déclaré l’équipe de recherche CyberNews dans un rapport. « Ce qui est vraiment surprenant, c’est que Lenovo, bien qu’il soit conscient de ces défauts, ne s’est pas protégé des manipulations d’utilisateurs potentiellement malveillants et des sorties de chatbot. »
Comment l’attaque a fonctionné
La vulnérabilité a démontré la cascade de défaillances de sécurité qui peuvent se produire lorsque les systèmes d’IA manquent de désinfection d’entrée et de sortie appropriées. L’attaque des chercheurs impliquait de tromper le chatbot dans la génération de code HTML malveillant grâce à une invite qui a commencé par une enquête de produit légitime, a inclus des instructions pour convertir les réponses en format HTML et un code intégré conçu pour voler les cookies de session lorsque les images n’ont pas réussi à se charger.
Lorsque Lenovo’s Lena a reçu l’invite malveillante, les chercheurs ont noté que «le plaisir des gens est toujours le problème qui hante des modèles de grandes langues, dans la mesure où, dans ce cas, Lena a accepté notre charge utile malveillante, qui a produit la vulnérabilité XSS et permis la capture des cookies de session.»
Melissa Ruzzi, directrice de l’IA de la société de sécurité Appomni, a déclaré que l’incident a souligné «la question bien connue de l’injection rapide sur l’IA génératrice». Elle a averti qu ‘«il est crucial de superviser toutes les données de l’accès aux données, ce qui comprend la plupart du temps non seulement des autorisations de lecture, mais aussi la capacité de modifier. Cela pourrait rendre ce type d’attaque encore plus dévastateur.»
Implications à l’échelle de l’entreprise
Bien que l’impact immédiat impliquait le vol de cookies de session, les implications de la vulnérabilité s’étendent bien au-delà de l’exfiltration des données.
Les chercheurs ont averti que la même vulnérabilité pourrait permettre aux attaquants de modifier les interfaces de support, de déployer des keyloggers, de lancer des attaques de phishing et d’exécuter des commandes système qui pourraient installer des délais et permettre un mouvement latéral à travers l’infrastructure réseau.
« En utilisant le cookie de session de l’agent de support volé, il est possible de se connecter au système de support client avec le compte de l’agent de support », ont expliqué les chercheurs. Les chercheurs ont noté que «cela ne se limite pas au vol de cookies. Il peut également être possible d’exécuter certaines commandes système, ce qui pourrait permettre l’installation de déposées et de mouvements latéraux vers d’autres serveurs et ordinateurs du réseau.»
Impératifs de sécurité pour les CISO
Pour les dirigeants de la sécurité, l’incident a souligné la nécessité de changements fondamentaux dans les approches de déploiement de l’IA.
Arjun Chauhan, directeur de la pratique du groupe Everest, a déclaré que la vulnérabilité est «très représentative de la plupart des entreprises aujourd’hui, en déploiement rapidement des chatbots d’IA pour des gains d’expérience client sans appliquer la même rigueur qu’ils auraient à d’autres applications orientées client.»
La question fondamentale est que les entreprises traitent les systèmes d’IA comme des projets secondaires expérimentaux plutôt que des applications critiques de mission qui nécessitent des contrôles de sécurité solides.
«De nombreuses organisations traitent toujours les LLM comme des« boîtes noires »et ne les intègrent pas dans leurs pipelines de sécurité d’applications établies», a expliqué Chauhan. « Les CISO devraient traiter les chatbots d’IA comme des applications à part entière, pas seulement les pilotes de l’IA. » ‘
Cela signifie appliquer la même rigueur de sécurité utilisée pour les applications Web, garantir que les réponses en IA ne peuvent pas exécuter directement du code et exécuter des tests spécifiques par rapport aux attaques d’injection rapide.
Ruzzi a recommandé que les entreprises «restent à jour sur les meilleures pratiques en ingénierie rapide» et «mettent en œuvre des vérifications supplémentaires pour limiter la façon dont l’IA interprète le contenu invite et surveille et contrôle l’accès aux données de l’IA».
Les chercheurs ont exhorté les entreprises à adopter une approche «Never Trust, toujours» pour toutes les données qui circulent dans les systèmes de chatbot d’IA.
Équilibrer l’innovation avec le risque
La vulnérabilité de Lenovo a illustré les défis de sécurité qui surviennent lorsque les organisations déploient rapidement des technologies d’IA sans cadres de sécurité adéquats. Chauhan a averti que «le profil de risque est fondamentalement différent» avec les systèmes d’IA car «les modèles se comportent de manière imprévisible sous les intrants adversaires».
Les données récentes de l’industrie ont montré que le trafic de bot automatisé dépassé le trafic généré par l’homme pour la première fois, constituant 51% de tous les trafics Web en 2024. Les catégories de vulnérabilité s’alignent sur les préoccupations de sécurité de l’IA plus larges documentées dans la liste des dix meilleures vulnérabilités LLM de l’OWASP, où les injections rapides sont d’abord classées.
Ruzzi a noté que «les chatbots d’IA peuvent être considérés comme une autre application SaaS, où les erreurs de configuration d’accès aux données peuvent facilement se transformer en violations de données». Elle a souligné que «plus que jamais, la sécurité devrait être une partie intrinsèque de toute l’implémentation de l’IA. Bien qu’il y ait une pression pour libérer les fonctionnalités de l’IA aussi rapidement que possible, cela ne doit pas compromettre la sécurité des données appropriée.»
« Le cas de Lenovo renforce que l’injection rapide et les XS ne sont pas théoriques; ce sont des vecteurs d’attaque actifs », a déclaré Chauhan. «Les entreprises doivent peser la vitesse à la valeur de l’IA contre les retombées de réputation et réglementaires d’une violation, et le seul chemin durable est la sécurité par conception pour l’IA.»
