Les chercheurs en sécurité ont découvert une série de cyber-problèmes ciblant les systèmes d’IA dont les utilisateurs et les développeurs devraient être conscients – certains sous forme d’attaques de démonstration et d’autres déjà une menace dans la nature.
L’année de l’IA agentique s’est accompagnée de promesses de gains de productivité massifs pour les entreprises, mais la ruée vers l’adoption de nouveaux outils et services a également ouvert de nouvelles voies d’attaque dans les environnements d’entreprise.
Voici quelques-uns des principaux risques de sécurité pour l’écosystème de l’IA qui ont été révélés cette année par des chercheurs en sécurité, soit dans la nature, soit sous la forme d’attaques démontrées par les chercheurs.
Shadow AI et outils d’IA vulnérables
Donner carte blanche aux employés pour expérimenter des outils d’IA pour automatiser les processus métier peut sembler une bonne idée qui pourrait faire émerger des solutions créatives. Mais cela peut rapidement devenir incontrôlable s’il n’est pas effectué dans le cadre d’une politique et d’un suivi stricts.
Une enquête récente menée auprès de 2 000 employés d’entreprises aux États-Unis et au Royaume-Uni a révélé que 49 % d’entre eux utilisent des outils d’IA non approuvés par leurs employeurs et que plus de la moitié ne comprennent pas comment leurs informations sont stockées et analysées par ces outils.
Le déploiement de tous les outils et services liés à l’IA sur site ou dans le cloud doit impliquer l’équipe de sécurité afin de détecter les configurations non sécurisées ou les vulnérabilités connues.
Dans son rapport 2025 sur l’état de la sécurité du cloud, Orca Security a indiqué que 84 % des organisations utilisent désormais des outils liés à l’IA dans le cloud et que 62 % disposaient d’au moins un package d’IA vulnérable dans leur environnement.
Un rapport distinct de la Cloud Security Alliance a indiqué qu’un tiers des organisations ont subi une violation de données dans le cloud impliquant une charge de travail d’IA, 21 % de ces incidents étant causés par des vulnérabilités, 16 % par des paramètres de sécurité mal configurés et 15 % par des informations d’identification compromises ou une authentification faible.
Même les outils d’IA publiés par les principaux fournisseurs comportent régulièrement des vulnérabilités identifiées et corrigées. Les exemples cette année incluent :
- Une exécution de code à distance (RCE) critique dans le framework d’agent IA open source Langflow qui a également été exploitée dans la nature
- Une faille RCE dans la CLI Codex d’OpenAI
- Vulnérabilités dans le serveur d’inférence NVIDIA Triton
- Vulnérabilités RCE dans les principaux frameworks de serveurs d’inférence d’IA, notamment ceux de Meta, Nvidia, Microsoft et des projets open source tels que vLLM et SGLang
- Vulnérabilités dans le framework de calcul open source Ray
Empoisonnement de la chaîne d’approvisionnement de l’IA
Les entreprises qui développent des logiciels avec des bibliothèques et des frameworks liés à l’IA doivent être conscientes que leurs développeurs pourraient être ciblés. Il est essentiel de vérifier la source des modèles d’IA et des packages de développement.
Cette année, les chercheurs en sécurité de ReversingLabs ont découvert des logiciels malveillants cachés dans des modèles d’IA hébergés sur Hugging Face, la plus grande base de données d’hébergement en ligne de modèles open source et d’autres actifs d’apprentissage automatique. Par ailleurs, ils ont également trouvé des packages trojanisés sur Python Package Index (PyPI) se faisant passer pour des SDK pour interagir avec les services cloud d’IA d’Aliyun AI Labs, la branche de recherche en IA d’Alibaba Cloud.
Dans les deux cas, les attaquants ont exploité le format de sérialisation d’objets Pickle pour masquer leur code, un format Python couramment utilisé pour stocker des modèles d’IA destinés à être utilisés avec PyTorch, l’une des bibliothèques d’apprentissage automatique les plus populaires.
Vol d’identifiants IA
Les attaquants adoptent également l’IA pour leurs opérations et préféreraient le faire sans payer et au nom d’autrui. Le vol d’identifiants pouvant être utilisés pour accéder aux LLM via des API officielles ou des services tels qu’Amazon Bedrock est désormais répandu et a même reçu un nom : LLMjacking.
Cette année, Microsoft a intenté une action civile contre un gang spécialisé dans le vol d’informations d’identification LLM et leur utilisation pour créer des services payants pour d’autres cybercriminels afin de générer du contenu qui contournait les garanties éthiques habituelles intégrées.
De grandes quantités d’appels d’API aux LLM peuvent générer des coûts importants pour les propriétaires d’informations d’identification volées, les chercheurs estimant les coûts potentiels à plus de 100 000 $ par jour lors de l’interrogation de modèles de pointe.
Injections rapides
Les outils d’IA présentent également de tout nouveaux types de vulnérabilités de sécurité, dont la plus courante est connue sous le nom d’injection rapide et découle du fait qu’il est très difficile de contrôler ce que les LLM interprètent comme des instructions à exécuter ou comme des données passives à analyser. De par leur conception, il n’y a pas de distinction, car les LLM n’interprètent pas le langage et l’intention comme le font les humains.
Cela conduit à des scénarios dans lesquels les données transmises à un LLM à partir d’une source tierce — par exemple sous la forme d’un document, d’un e-mail entrant, d’une page Web, etc. — pourraient contenir du texte que le LLM exécutera comme une invite. C’est ce qu’on appelle l’injection rapide indirecte et constitue un problème majeur à l’ère des agents d’IA où les LLM sont liés à des outils tiers pour pouvoir accéder aux données à des fins contextuelles ou pour effectuer des tâches.
Cette année, les chercheurs ont démontré des attaques par injection rapide dans des assistants de codage d’IA tels que GitLab Duo, GitHub Copilot Chat ; Plateformes d’agents d’IA comme ChatGPT, Copilot Studio, Salesforce Einstein ; Des navigateurs compatibles avec l’IA tels que Comet de Perplexity, Copilot de Microsoft pour Edge et Gemini de Google pour Chrome ; des chatbots comme Claude, ChatGPT, Gemini, Microsoft Copilot ; et plus encore.
Ces attaques peuvent au minimum conduire à une exfiltration de données sensibles, mais peuvent également inciter l’agent IA à effectuer d’autres tâches malveillantes en utilisant les outils à sa disposition, y compris l’exécution de code potentiellement malveillant.
Les injections rapides représentent un risque pour tous les agents d’IA personnalisés créés par des organisations qui transmettent des données tierces à un LLM et l’atténuer nécessite une approche à plusieurs niveaux, car aucune défense n’est parfaite. Cela inclut de forcer la séparation des contextes en répartissant différentes tâches entre différentes instances LLM et en utilisant le principe du moindre privilège pour l’agent ou les outils auxquels il a accès, en adoptant une approche humaine dans la boucle pour approuver les opérations sensibles, en filtrant les entrées pour les chaînes de texte couramment utilisées dans les injections d’invites, en utilisant les invites du système pour demander au LLM d’ignorer les commandes des données ingérées, en utilisant des formats de données structurés, et bien plus encore.
Serveurs MCP malveillants et vulnérables
Le Model Context Protocol (MCP) est devenu une norme sur la manière dont les LLM interagissent avec des sources de données et des applications externes afin d’améliorer leur contexte de raisonnement. Le protocole a connu une adoption rapide et constitue un élément clé dans le développement d’agents d’IA, avec des dizaines de milliers de serveurs MCP désormais publiés en ligne.
Un serveur MCP est le composant qui permet à une application d’exposer ses fonctionnalités à un LLM via une API standardisée et un client MCP est le composant via lequel cette fonctionnalité est accessible. Les environnements de développement intégrés (IDE) tels que Visual Studio Code de Microsoft ou ceux basés sur celui-ci, comme Cursor et Antigravity, prennent en charge nativement l’intégration avec les serveurs MCP et les outils d’interface de ligne de commande tels que Claude Code CLI peuvent également y accéder.
Les serveurs MCP peuvent être hébergés et téléchargés depuis n’importe où, par exemple GitHub, et ils peuvent contenir du code malveillant. Des chercheurs ont récemment montré comment un serveur MCP malveillant pouvait injecter du code malveillant dans le navigateur intégré de Cursor IDE.
Cependant, les serveurs MCP ne doivent pas nécessairement être intentionnellement malveillants pour constituer une menace pour la sécurité. De nombreux serveurs MCP peuvent présenter des vulnérabilités et des erreurs de configuration et peuvent ouvrir la voie à l’injection de commandes du système d’exploitation. La communication entre les clients MCP et les serveurs MCP n’est pas non plus toujours sécurisée et peut être exposée à une attaque appelée détournement d’invite où les attaquants peuvent accéder aux serveurs en devinant les identifiants de session.
