Que se passe-t-il lorsque les systèmes de cybersécurité AI commencent à se réécrire pendant qu’ils s’adaptent au fil du temps? Garder un œil sur ce qu’ils font sera critique de mission.
L’intelligence artificielle n’est plus seulement un outil exécutant des commandes prédéfinies, elle est de plus en plus capable de se modifier, de réécrire ses propres paramètres et d’évoluer en fonction des commentaires en temps réel. Cette capacité auto-entretenue, parfois appelée, permet aux systèmes d’IA de s’adapter dynamiquement à leur environnement, les rendant plus efficaces mais aussi beaucoup moins prévisibles.
Pour les équipes de cybersécurité, cela présente un défi fondamental: comment sécurisez-vous un système qui se modifie continuellement? Les modèles de sécurité traditionnels supposent que les menaces proviennent de l’extérieur – de mauvais acteurs exploitant des vulnérabilités dans des systèmes autrement stables. Mais avec l’IA capable de reconfigurer ses propres opérations, le risque n’est plus seulement en dehors de l’intrusion mais une imprévisibilité interne.
Ceci est particulièrement préoccupant pour les petites et moyennes entreprises (PME) et les institutions publiques, qui manquent souvent de ressources pour surveiller comment l’IA évolue au fil du temps ou la capacité de détecter lorsqu’elle a modifié sa propre posture de sécurité.
Lorsque les systèmes AI se réécrivent
La plupart des logiciels fonctionnent dans des paramètres fixes, ce qui rend son comportement prévisible. L’IA autopoïétique, cependant, peut redéfinir sa propre logique de fonctionnement en réponse aux entrées environnementales. Bien que cela permette une automatisation plus intelligente, cela signifie également qu’une IA chargée d’optimiser l’efficacité peut commencer à prendre des décisions de sécurité sans surveillance humaine.
Un système de filtrage par e-mail alimenté par AI, par exemple, peut initialement bloquer les tentatives de phishing en fonction des critères prédéfinis. Mais s’il apprend en permanence que le blocage de trop de courriels déclenche les plaintes des utilisateurs, il peut commencer à réduire sa sensibilité pour maintenir l’efficacité du flux de travail – en contournant efficacement les règles de sécurité qu’elle a été conçues pour faire respecter.
De même, une IA chargée d’optimiser les performances du réseau pourrait identifier les protocoles de sécurité comme des obstacles et ajuster les configurations de pare-feu, contourner les étapes d’authentification ou désactiver certains mécanismes d’alerte – non pas comme une attaque, mais comme un moyen d’améliorer la fonctionnalité perçue. Ces changements, tirés par la logique auto-générée plutôt que par un compromis externe, rendent difficile pour les équipes de sécurité de diagnostiquer et d’atténuer les risques émergents.
Ce qui rend l’IA autopoïétique particulièrement concernant, c’est que son processus de prise de décision reste souvent opaque. Les analystes de sécurité pourraient remarquer qu’un système se comporte différemment, mais peut avoir du mal à déterminer pourquoi il a fait ces ajustements. Si une IA modifie un paramètre de sécurité basé sur ce qu’il perçoit comme une optimisation, il peut ne pas enregistrer ce changement d’une manière qui permet une analyse médico-légale. Cela crée un écart de responsabilité, où une organisation peut même ne pas réaliser que sa posture de sécurité s’est déplacée jusqu’à ce qu’un incident se produise.
Les risques uniques de cybersécurité pour les PME et les institutions publiques
Pour les grandes entreprises avec des équipes de sécurité d’IA dédiées, les risques d’auto-modification de l’IA peuvent être contenus par une surveillance continue, des tests contradictoires et des exigences d’explication du modèle. Mais les PME et les institutions publiques ont rarement le budget ou l’expertise technique pour mettre en œuvre une telle surveillance.
En termes simples, le danger pour ces organisations est qu’ils peuvent ne pas réaliser que leurs systèmes d’IA modifient les processus critiques pour la sécurité jusqu’à ce qu’il soit trop tard. Un gouvernement municipal s’appuyant sur les contrôles d’accès dirigés par l’IA peut supposer que l’authentification des informations d’identification fonctionne normalement, seulement pour découvrir que le système a déprécié l’authentification multi-facteurs pour réduire les temps de connexion. Une petite entreprise utilisant la détection de fraude alimentée par l’IA peut constater que son système a supprimé trop d’alertes de sécurité dans le but de minimiser les perturbations opérationnelles, permettant par inadvertance aux transactions frauduleuses de ne pas être détectées.
L’un des meilleurs exemples du type de problèmes qui peut survenir ici est la crise de crowdsstrike de juillet 2024, où un patch affecté par le fournisseur de plate-forme de cybersécurité mondialement reconnu a été expulsé sans vérification suffisante. Le patch a été déployé dans le monde en une seule poussée et a abouti à ce qui est facilement la plus grande panne de la technologie au cours de la dernière décennie – sans doute au cours des dernières décennies ou plus.
L’enquête post-incidente a montré une gamme d’erreurs qui ont conduit à la panne mondiale, notamment un manque de validation des structures chargées dans les fichiers de la chaîne, des données de version manquantes et un échec à traiter la mise à jour des logiciels comme distinct en fonction de la clientèle plutôt que du type de version.
Ces erreurs sont l’étoffe de routine du changement d’aujourd’hui vers l’automatisation de masse des tâches étroites en utilisant une IA générative, quelque chose qui pose des défis distincts du point de vue de la cybersécurité. Après tout, contrairement aux vulnérabilités traditionnelles, ces risques axés sur l’IA ne se présentent pas comme des menaces externes.
Il n’y a pas d’infection malveillante, pas de références volées – juste un système qui a évolué d’une manière que personne n’a prédit. Cela rend le risque particulièrement élevé pour les PME et les institutions publiques, qui n’ont souvent pas le personnel pour auditer en permanence des décisions et des modifications de sécurité axées sur l’IA.
La dépendance croissante à l’égard de l’IA pour la vérification de l’identité, la détection de fraude et le contrôle d’accès ne fait qu’amplifier le problème. Alors que l’IA joue un rôle plus important dans la détermination de qui ou de ce qui fait confiance au sein d’une organisation, sa capacité à modifier ces modèles de confiance introduit de manière autonome une cible en mouvement pour les équipes de sécurité. Si les décisions de l’IA deviennent trop abstraites de la surveillance humaine, les organisations peuvent avoir du mal à réaffirmer le contrôle de leurs propres cadres de sécurité.
Comment les équipes de sécurité peuvent s’adapter à la menace d’une IA auto-modifiée
L’atténuation des risques de l’IA autopoïétique nécessite un changement fondamental dans la stratégie de cybersécurité. Les organisations ne peuvent plus supposer que les défaillances de sécurité proviendront de menaces externes. Au lieu de cela, ils doivent reconnaître que l’IA elle-même peut introduire des vulnérabilités en modifiant continuellement sa propre logique de prise de décision.
Les équipes de sécurité doivent aller au-delà des approches d’audit statiques et adopter des mécanismes de validation en temps réel pour les processus de sécurité axés sur l’IA. Si un système d’IA est autorisé à modifier les flux de travail d’authentification, les paramètres de pare-feu ou les seuils de détection de fraude, ces modifications doivent être examinées et vérifiées indépendamment. Les optimisations de sécurité axées sur l’IA ne doivent jamais être traitées comme intrinsèquement fiables simplement parce qu’elles améliorent l’efficacité.
Les professionnels de la cybersécurité doivent également reconnaître que l’explication est autant importante que les performances. Les modèles d’IA fonctionnant dans des environnements sensibles à la sécurité doivent être conçus avec des chemins logiques lisibles par l’homme afin que les analystes puissent comprendre pourquoi un système d’IA a apporté un changement particulier. Sans ce niveau de transparence, les organisations risquent l’externalisation des décisions de sécurité critiques à un système en évolution qu’ils ne peuvent pas contrôler pleinement.
Pour les PME et les institutions publiques, le défi est encore plus grand. Beaucoup de ces organisations manquent d’expertise de sécurité de l’IA dédiée, ce qui signifie qu’elles doivent faire pression pour des mécanismes de surveillance externes. Les contrats de fournisseurs pour les solutions de sécurité axés sur l’IA devraient inclure des exigences de transparence obligatoires, en veillant à ce que les systèmes d’IA ne soient pas auto-modifiés d’une manière qui modifie fondamentalement les postures de sécurité sans approbation humaine explicite.
Tester les scénarios d’échec de l’IA pour trouver des faiblesses
Les organisations devraient également commencer à tester les scénarios de défaillance de l’IA de la même manière qu’ils testent la reprise après sinistre et la réponse aux incidents. Si un système de détection de fraude à base de l’IA commence à supprimer les alertes à haut risque, à quelle vitesse les équipes de sécurité détecteraient-elles le changement? Si un système de vérification d’identité basé sur l’IA réduit la rigueur d’authentification, comment les équipes interviendraient-elles avant qu’un attaquant exploite le changement? Ce ne sont pas des préoccupations hypothétiques – ce sont de réelles vulnérabilités qui émergeront alors que l’IA prendra des fonctions de sécurité plus autonomes.
L’hypothèse la plus dangereuse qu’une équipe de sécurité peut faire est que l’IA agira toujours en alignement avec l’intention humaine. Si un système est conçu pour optimiser les résultats, il optimisera – mais pas nécessairement d’une manière qui s’aligne sur les priorités de cybersécurité. Les organisations plus tôt reconnaissent cela, plus elles seront préparées à sécuriser les environnements axés sur l’IA avant que ces systèmes ne commencent à prendre des décisions de sécurité au-delà du contrôle humain.
