Près des deux tiers des entreprises ne parviennent pas à examiner les implications de sécurité des outils d’IA avant de les déployer. Le fait de souligner les fondamentaux de sécurité dès le départ peut réduire les risques.
Dans leur race pour réaliser des gains de productivité de l’IA générative, la plupart des organisations négligent les implications de sécurité de le faire, favorisant plutôt les espoirs d’innovations révolutionnaires par rapport aux pratiques de sécurité solides.
Selon une étude du Forum économique mondial mené en collaboration avec Accenture, 63% des entreprises ne parviennent pas à évaluer la sécurité des outils d’IA avant le déploiement, introduisant une gamme de risques à leur entreprise.
Cela inclut à la fois des solutions d’IA standard et des implémentations internes créées en collaboration avec des équipes de développement de logiciels qui, selon le rapport de transformation de la qualité de Tricentis, sont extrêmement axées sur l’amélioration de la vitesse de livraison (45%) plutôt que la qualité des logiciels (13%) – même en tant que troisième (32%) des répondants à l’administration de la mauvaise qualité de la qualité qui se compliquera probablement dans des effléances plus fréquentes ou des manquements à la compression de Tricetis.
Et plus fréquents ces violations et défaillances sont. Le dernier indice de préparation à la cybersécurité de Cisco, publié le 7 mai, a révélé que 86% des organisations avaient connu un incident de sécurité lié à l’IA au cours de la dernière année. Moins de la moitié (45%) pensent que leur organisation possède les ressources internes et l’expertise pour effectuer des évaluations complètes de la sécurité de l’IA.
Les risques de sécurité IA les plus courants
Exposition aux données
Les systèmes d’IA traitent souvent de grands volumes d’informations sensibles, et sans tests robustes, les organisations peuvent ignorer la facilité avec laquelle ces données peuvent être divulguées, soit via un stockage non garanti, des réponses API trop généreuses ou des contrôles d’accès médiocres.
«De nombreux systèmes d’IA ingèrent les données des utilisateurs pendant l’inférence ou le contexte de la persistance de la session», explique le Dr Peter Garraghan, directeur général et co-fondateur du fournisseur de tests de sécurité de l’IA Mindgard. «Si la gestion des données n’est pas vérifiée, il existe un risque élevé de fuite de données grâce à la sortie du modèle, à l’exposition au journal ou à une mauvaise utilisation des ensembles de données affinés.
Vulnérabilités au niveau du modèle
Il s’agit notamment d’injection rapide, de jailbreaks et de chaînage rapide contradictoire. Sans tests rigoureux, les modèles peuvent être manipulés pour contourner les contraintes de sortie, fuir des données sensibles ou effectuer des tâches involontaires.
«Ces attaques exploitent souvent des défauts dans les mécanismes d’alignement du modèle ou sa dépendance au raisonnement au niveau des jetons», a expliqué Garraghan, maître de conférences à l’Université britannique de Lancaster.
Intégrité du modèle et attaques contradictoires
Sans tester la manipulation adversaire ou les données d’entraînement empoisonnées, il est facile pour les attaquants d’influencer le comportement d’un modèle d’IA, surtout s’il est utilisé pour soutenir les décisions commerciales ou automatiser les tâches sensibles.
Jano Bermudes, COO du Global Cyber Consultancy Cyxcel, a déclaré: «Les attaquants peuvent manipuler les données d’entrée pour tromper les modèles d’IA, ce qui les a fait prendre des décisions incorrectes. Cela inclut les attaques d’évasion et l’empoisonnement des données.»
Risques d’intégration systémique
Les modèles d’IA sont fréquemment déployés dans le cadre de pipelines d’application plus importantes, comme via des API, des plugins, ou GÉNÉRATION AUGURATIVE (RAG) Architectures.
«Des tests insuffisants à ce niveau peuvent entraîner une manipulation incomparable des entrées et des sorties du modèle, des voies d’injection à travers des formats de données sérialisés et une escalade de privilège dans l’environnement d’hébergement», explique Garraghan de Mindgard. «Ces points d’intégration sont fréquemment négligés dans les flux de travail conventionnels de l’APPSEC (sécurité des applications).»
Échecs de contrôle d’accès
Les outils d’IA se branchent souvent sur des systèmes plus larges et, s’ils sont mal configurés, peuvent donner aux utilisateurs ou aux attaquants plus d’accès que prévu. Cela peut inclure des clés API exposées, une mauvaise authentification ou une journalisation insuffisante qui rend difficile la séjour abusée.
Échecs de sécurité d’exécution
Les systèmes d’IA ne peuvent présenter des comportements émergents que pendant le déploiement, en particulier lorsqu’ils fonctionnent dans des conditions d’entrée dynamiques ou interagissant avec d’autres services.
«Les vulnérabilités telles que la corruption logique, le débordement de contexte ou la réflexion sur la sortie n’apparaissent souvent que pendant l’exécution et nécessitent une simulation opérationnelle en équipe rouge ou en direct pour détecter», selon Garraghan.
Violations de la conformité
Ne pas s’assurer que les outils d’IA répondent aux normes réglementaires peuvent entraîner des répercussions légales.
Par exemple, des violations réglementaires peuvent survenir en raison du traitement des données non autorisées par des outils ou des pannes d’IA à partir de comportements du modèle non testés à l’échelle.
Impacts opérationnels plus larges
«Ces vulnérabilités techniques, si elles sont non testées, n’existent pas isolément», explique Garraghan de Mindgard. «Ils se manifestent comme des risques organisationnels plus larges qui s’étendent au-delà du domaine d’ingénierie. Lorsqu’ils sont considérés à travers l’objectif de l’impact opérationnel, les conséquences d’une carte de test de sécurité de l’IA insuffisante directement aux échecs en matière de sécurité, de sécurité et d’assurance commerciale.»
Sam Peters, chef de produit chez les experts de la conformité Isms.online, voit des impacts opérationnels généralisés de la tendance des organziations à négliger la vérification appropriée de la sécurité de l’IA.
«Lorsque les systèmes d’IA sont précipités dans la production, nous voyons des vulnérabilités récurrentes dans trois domaines clés: l’intégrité du modèle (y compris l’empoisonnement et les attaques d’évasion), la confidentialité des données (comme la formation de la fuite des données ou les données sensibles mal gérées) et les lacunes de gouvernance (du manque de transparence au contrôle médiocre d’accès)», dit-il.
Peters ajoute: « Ces problèmes ne sont pas hypothétiques; ils sont déjà exploités dans la nature. »
Tester contre la livraison
La ruée vers la mise en œuvre de l’IA met les CISO dans une contrainte stressante, mais James Lei, chef de l’exploitation de la société de tests de sécurité des applications Sparrow, conseille aux CISO de repousser l’enthousiasme incontrôlé d’introduire des pratiques de sécurité fondamentales dans le processus de déploiement.
«Pour réduire ces risques, les organisations devraient tester les outils d’IA de la même manière qu’ils seraient des logiciels à haut risque, exécuter des attaques simulées, vérifier les scénarios d’utilisation abusive, valider les flux d’entrée et de sortie et s’assurer que les données traitées sont correctement protégées», dit-il.
Pour atténuer ces risques, les organisations devraient mettre en œuvre des stratégies de test complètes, telles que:
- Test de pénétration: Simulation d’attaques pour identifier les vulnérabilités
- Audits de biais et d’équité: S’assurer que les décisions de l’IA sont équitables et non discriminatoires
- Vérification de la conformité: Vérification de l’adhésion aux réglementations et normes pertinentes
En intégrant les tests de sécurité dans le cycle de vie du développement de l’IA, les organisations peuvent exploiter les avantages de l’IA tout en protégeant les menaces potentielles.
«Avant de déployer des outils d’IA, les organisations devraient effectuer une modélisation des menaces spécifique aux systèmes d’IA, l’équipement rouge pour les entrées adversaires et les tests robustes pour la dérive du modèle et la fuite de données», explique Peters d’Isms.Online. «Dans le même temps, ils devraient intégrer des contrôles spécifiques à l’IA dans leurs programmes de gestion des risques et de conformité.»
Peters ajoute: «C’est là que la nouvelle norme ISO / IEC 42001 peut vraiment aider. Il fournit un cadre pour régir l’IA de manière responsable, y compris les conseils sur l’évaluation des risques, la gestion des données, les contrôles de sécurité et la surveillance continue.»
D’autres experts, tout en validant la nécessité de tests de sécurité, ont fait valoir qu’une approche différente doit être appliquée pour tester la sécurité des systèmes basés sur l’IA.
Les outils d’IA offrent souvent une solution complexe à un problème simple. Les testeurs peuvent se concentrer uniquement sur ce que l’outil est censé faire et manquer d’autres choses qu’il peut faire. « Par exemple, un outil de traduction pourrait être trompé pour ouvrir un PDF avec du code malveillant ou accéder à des fichiers internes et les traduire pour quelqu’un en dehors de l’entreprise », explique De Ceukelaire.
Les organisations devraient envisager de mettre en œuvre des cadres de test contradictoires conçus spécifiquement pour l’IA.
«Cela inclut une analyse de modèle statique, une fuzzage rapide dynamique, une simulation d’attaque de la couche d’intégration et une surveillance comportementale d’exécution», explique Garraghan de Mindgard. «Ces pratiques doivent être intégrées dans le cycle de vie du déploiement de l’IA de la même manière que les pratiques DevSecops sont intégrées dans les pipelines logiciels CI / CD.»
