Les systèmes d’IA autonomes, adaptables et interconnectés, sont à la fois une productivité et un multiplicateur de risque de cybersécurité. Pour sécuriser leur activité, les modèles de sécurité traditionnels pourraient ne pas suffire.
Les entreprises utiliseront sans aucun doute l’IA d’agence pour un nombre croissant de workflows et de processus, y compris le développement de logiciels, l’automatisation du support client, l’automatisation des processus robotiques (RPA) et le support des employés. Parmi les questions clés des CISO et de leur personnel: quels sont les risques de cybersécurité de l’IA agentique, et combien de travail supplémentaire lui faudra-t-il pour soutenir les rêves d’origine d’IA de leur organisation?
Dans un rapport de 2024, notant comment les acteurs de la menace pourraient tirer parti de l’IA en 2025, Cisco Talos a déclaré que les systèmes et modèles d’IA qui peuvent agir de manière autonome pour atteindre des objectifs sans avoir besoin de conseils humains constants pourraient mettre en péril les organisations qui ne sont ni préparées ni équipées pour gérer les systèmes agentiques et leur potentiel de compromis.
( En rapport: AIATIQUE AI – NOUVELLES ET PERSIGNE )
« Alors que les systèmes agents s’intègrent de plus en plus aux services et aux fournisseurs disparates, la possibilité d’exploitation ou de vulnérabilité est mûre », indique le rapport. «Les systèmes agentiques peuvent également avoir le potentiel de mener des attaques en plusieurs étapes, de trouver des moyens créatifs d’accéder aux systèmes de données restreints, de chaîner des actions apparemment bénignes en séquences nuisibles ou d’apprendre à échapper à la détection par les défenseurs du réseau et du système.»
Il est clair que l’IA agentique sera un défi important pour les équipes de cybersécurité et que les CISO doivent faire partie de la conversation alors que leurs organisations adoptent la technologie. Cela est particulièrement vrai étant donné que de nombreuses entreprises ont sauté dans tous les aspects de l’IA sans réfléchir beaucoup au durcissement de leurs systèmes.
Les entreprises adoptant l’IA agentique pour améliorer l’efficacité, la prise de décision et l’automatisation, «ils doivent également affronter une nouvelle classe de cyber-risques», explique Sean Joyce, leader mondial de la cybersécurité et de la vie privée de la société de conseil PWC. «Contrairement aux modèles d’IA traditionnels qui répondent aux invites directes, les systèmes d’IA agentiques peuvent agir de manière autonome vers des objectifs de haut niveau, prendre des décisions, interagir avec d’autres systèmes et adapter leur comportement au fil du temps.»
Pour les CISO, «la compréhension et l’atténuation de ces risques émergents est essentiel pour favoriser l’adoption sûre et responsable de l’IA», explique Joyce.
Voici quelques-uns des principaux problèmes et des risques impliqués.
Manque de visibilité et la montée de l’ombre AI
Les cisos n’aiment pas opérer dans l’obscurité, et c’est l’un des risques que l’agence AI apporte. Il peut être déployé de manière autonome par des équipes ou même des utilisateurs individuels via une variété d’applications sans surveillance appropriée des services de sécurité et d’informatique.
Cela crée des «agents d’ombre AI» qui peuvent fonctionner sans contrôles tels que l’authentification, ce qui rend difficile le suivi de leurs actions et de leurs comportements. Cela peut à son tour poser des risques de sécurité importants, car les agents invisibles peuvent introduire des vulnérabilités.
«Un manque de visibilité crée plusieurs risques pour les organisations, notamment des risques de sécurité, des problèmes de gouvernance / conformité, des risques opérationnels et un manque de transparence (cela) peut entraîner une perte de confiance par les employés, les fournisseurs, etc., et entraver l’adoption de l’IA», explique Reena Richteryer, partenaire de la loi CM qui représente les développeurs de l’IA et les grandes entreprises et les entités gouvernementales de mise en œuvre AI.
«Le plus gros problème que nous voyons est vraiment le manque de visibilité», explique Wyatt Mayham, consultant en chef de l’IA chez le cabinet de conseil Northwest AI. L’IA agentique commence souvent sur le bord où les individus mettent en place un chatppt et d’autres outils pour automatiser les tâches, dit-il.
«Et ces agents ne sont pas sanctionnés ou examinés par celui-ci, ce qui signifie qu’ils ne sont pas enregistrés, versés ou gouvernés», explique Mayham. Les CISO sont habitués au logiciel Shadow en tant que service (SaaS), dit-il, et maintenant ils doivent faire face à un comportement d’ombre sur l’ombre.
«Les organisations manquent souvent de conscience de la mise en œuvre de ces systèmes, qui les utilise et de l’étendue de leur autonomie», explique Pablo Riboldi, CISO de Baresdev, une société de développement de logiciels à part. «Cela se traduit par un problème d’ombre important, car les équipes de sécurité pourraient rester inconscients des agents qui prennent des décisions en temps réel ou accéder à des systèmes sensibles sans contrôle centralisé.»
Agents libres: les races d’autonomie ont augmenté les risques
L’IA agentique introduit la capacité de prendre des décisions indépendantes et d’agir sans surveillance humaine. Cette capacité présente son propre risque de cybersécurité en laissant potentiellement les organisations vulnérables.
«Les systèmes d’IA agentiques sont axés sur les objectifs et capables de prendre des décisions sans approbation humaine directe», explique Joyce. «Lorsque les objectifs sont mal portée ou ambigus, les agents peuvent agir de manière mal alignée par la sécurité des entreprises ou les normes éthiques.»
Par exemple, si un agent est invité à réduire le «bruit» dans le centre d’opérations de sécurité, il pourrait interpréter cela trop littéralement et supprimer des alertes valides dans ses efforts pour rationaliser les opérations, laissant une organisation aveugle à une intrusion active, dit Joyce.
Les systèmes d’IA agentiques sont conçus pour agir de manière indépendante, mais sans une forte gouvernance, cette autonomie peut rapidement devenir une responsabilité, dit Riboldi. «Un agent apparemment inoffensif donné des instructions vagues ou mal portée pourrait dépasser ses limites, initier des flux de travail, modifier les données ou interagir avec les systèmes critiques de manière involontaire», dit-il.
Dans un environnement d’IA agentique, «il y a beaucoup d’action autonome sans surveillance», explique Mayham. «Contrairement à l’automatisation traditionnelle, les agents font des choix qui pourraient signifier cliquer sur des liens, envoyer des e-mails, déclencher des workflows.
Systèmes multi-agents: conséquences de partage de données indésirables
Les systèmes multi-agents sont très prometteurs pour l’entreprise, mais les agents de l’IA interagissant et partageant des données les uns avec les autres présentent des risques liés à la sécurité, à la vie privée et au potentiel de conséquences imprévues, a déclaré Richteryer de CM Law. «Ces risques découlent de la capacité de l’IA à accéder à de grandes quantités de données, de leur nature autonome et de la complexité de la gestion des systèmes d’IA multi-agents», dit-elle.
Par exemple, les agents de l’IA peuvent accéder et traiter des informations sensibles qui pourraient être régies contractuellement ou fortement réglementées, conduisant à une utilisation ou une divulgation autorisée qui crée une responsabilité potentielle pour une organisation, dit Richteryer.
«Dès que vous avez une configuration multi-agents, vous introduisez des risques de coordination», explique Mayham de Northwest AI. « Un agent pourrait étendre la portée d’une tâche d’une manière qu’un autre agent n’a pas été formé pour gérer. Sans sable, cela peut conduire à un comportement du système imprévisible, surtout si les agents ingérent de nouvelles données réelles. »
Les agents collaborent souvent avec d’autres agents pour effectuer des tâches, ce qui a entraîné des chaînes complexes de communication et de prise de décision, dit Joyce de PwC. «Ces interactions peuvent propager des données sensibles de manière involontaire, créant des risques de conformité et de sécurité», dit-il.
Par exemple, un agent de service client résume les détails du compte pour une analyse de rétention de traitement des agents internes. Ce deuxième agent stocke les données dans un emplacement non protégé pour une utilisation ultérieure, violant les politiques internes de traitement des données.
Intégration tierce: Risques de la chaîne d’approvisionnement suralimente
Les agents peuvent également potentiellement intégrer et partager des données avec les applications des partenaires tiers via des API, présentant un autre défi pour les CISO, car l’intégration avec les services disparates et les fournisseurs peut créer une opportunité accrue d’exploitation ou de vulnérabilité.
L’IA agentique s’appuie fortement sur les API et les intégrations externes, dit Riboldi. «Alors qu’un agent a accès à davantage de systèmes, son comportement devient de plus en plus complexe et imprévisible», dit-il. «Ce scénario présente les risques de la chaîne d’approvisionnement, car une vulnérabilité dans tout service tiers pourrait être exploitée ou déclenchée par inadvertance à travers des interactions agentiques sur différentes plates-formes.»
De nombreux agents à un stade précoce comptent sur l’automatisation des API ou des navigateurs sans papiers ou sans papiers, explique Mayham. «Nous avons vu des cas où les agents divulguent des jetons via des intégrations mal portée ou exfiltrent les données par le biais de chaînes de plugin inattendues. Plus la pile de fournisseurs est fragmentée, plus la surface est grande pour quelque chose comme cela se produit», dit-il. «Les outils de codage de l’IA sont connus pour cela.»
«Chaque point d’intégration élargit la surface d’attaque et peut introduire des vulnérabilités de la chaîne d’approvisionnement», explique Joyce. « Par exemple, un agent d’IA s’intègre à une plate-forme RH tierce pour automatiser l’intégration. L’API du fournisseur a une vulnérabilité connue, qu’un attaquant exploite pour obtenir un accès latéral aux systèmes RH internes. »
De nombreux outils agents reposent sur des bibliothèques open source et des cadres d’orchestration, qui pourraient héberger des vulnérabilités inconnues des équipes de sécurité, ajoute Joyce.
Attaques à plusieurs étages: brouillage de la ligne entre l’erreur et l’exploitation
Il existe un potentiel pour les systèmes agentiques pour mener des attaques en plusieurs étapes et trouver de nouvelles façons d’accéder aux systèmes de données restreintes en échappant à la détection par des outils de sécurité.
«À mesure que les systèmes agents deviennent plus sophistiqués, ils peuvent développer ou apprendre par inadvertance des comportements en plusieurs étapes qui imitent les attaques en plusieurs étapes», explique Riboldi. « Pire, ils pourraient découvrir involontairement des moyens de contourner les méthodes de détection traditionnelles – non pas parce qu’ils sont malveillants, mais parce que leur comportement axé sur les objectifs récompense l’évasion. »
Cela brouille la ligne entre l’erreur et l’exploitation, dit Riboldi, et rend plus difficile pour les équipes de sécurité de dire si un incident était un comportement malveillant et émergent, ou les deux.
Ce type de risque «est moins théorique qu’il n’y paraît», explique Mayham. «Dans les tests de laboratoire, nous avons vu des agents chaîner les outils ensemble de manière inattendue, et pas vraiment malicieusement mais plutôt créative vraiment. Imaginez maintenant la même capacité de raisonnement exploitée pour sonder les systèmes, tester des points de terminaison et éviter les outils de détection basés sur des modèles.»
Étant donné que l’agent IA peut apprendre des commentaires, il peut modifier son comportement pour éviter de déclencher des systèmes de détection – intentionnellement ou non, dit Joyce. «Cela présente un sérieux défi pour les outils traditionnels de détection et de réponse basés sur des règles», dit-il. Un agent pourrait déterminer que certaines actions déclenchent des alertes à partir d’une plate-forme de détection de point de terminaison et ajuster sa méthode pour rester sous les seuils de détection, similaire à la façon dont les logiciels malveillants s’adaptent aux analyses antivirus.
Un nouveau paradigme nécessite de nouveaux modèles de défense
L’IA agentique représente un nouveau modèle puissant, dit Joyce, mais aussi un défi de cybersécurité radicalement différent. «Son autonomie, son adaptabilité et son interconnectivité en font à la fois un multiplicateur de productivité et un vecteur d’attaque potentiel», dit-il. «Pour les CISO, les modèles de sécurité traditionnels ne sont plus suffisants.»
Selon Joyce, une stratégie de défense de l’IA agentique robuste doit inclure les principes fondamentaux suivants:
- Observabilité et télémétrie en temps réel
- Politiques de gouvernance étroitement portée
- Pratiques de développement sécurisées par conception
- Coordination interfonctionnelle entre les équipes de sécurité, d’informatique, de gestion des données et de conformité
«En adoptant une approche de sécurité proactive et en couches et en intégrant la gouvernance dès le début, les organisations peuvent exploiter en toute sécurité la promesse d’une IA agentique tout en minimisant les risques qu’il apporte», dit-il.
