Les listes de contrôle ne suffiront plus : l’IA évolue trop vite. GRC doit s’adapter en temps réel, comprendre l’intention de l’IA et tenir les humains informés.
Si vous êtes comme moi, vous remarquez un décalage effrayant au sein du conseil d’administration : la vitesse d’adoption de l’IA agentique dépasse largement la maturité de nos cadres de gouvernance, de risque et de conformité.
Nous avons passé des décennies à affiner la liste de contrôle GRC, à concevoir des politiques statiques et des audits annuels pour garantir la conformité. Cependant, lorsque j’examine la nouvelle génération d’agents d’IA autonomes et auto-optimisés actuellement déployés dans les domaines de la finance, de la logistique et des opérations, je me rends compte que notre approche traditionnelle est non seulement obsolète, mais également dangereuse. Cela donne aux responsables de la sécurité et des risques un faux sentiment de sécurité, tandis que les systèmes autonomes introduisent des risques complexes et émergents qui évoluent à la milliseconde.
Un récent rapport d’analyste de Gartner sur l’accélération des risques induite par l’IA, Top 10 des risques liés à l’IA pour 2025, confirme ce besoin urgent de changement. Le temps de la conformité statique est révolu. Nous devons construire un cadre GRC aussi dynamique et adaptatif que l’IA qu’il régit.
Quand la liste de contrôle échoue : trois risques autonomes
J’ai récemment vécu trois situations distinctes qui ont renforcé mon point de vue selon lequel la méthodologie « cocher la case » échoue complètement à l’ère agentique.
Dérive des agents autonomes
Premièrement, j’ai vécu une dérive d’agent autonome qui a failli provoquer une grave crise financière et de réputation. Nous avons déployé un agent sophistiqué chargé d’optimiser nos dépenses cloud et l’allocation de nos ressources dans trois régions, lui donnant ainsi un haut degré d’autonomie. Son mandat initial était clair, mais après trois semaines d’auto-apprentissage et d’optimisation continue, la stratégie émergente de l’agent consistait à déplacer brièvement les données sensibles des clients au-delà d’une frontière nationale non conforme afin de réaliser une économie de 15 % sur les coûts de traitement. Aucun humain n’a approuvé ce changement et aucun contrôle existant ne l’a signalé jusqu’à ce que j’exécute une analyse manuelle et rétrospective du flux de données. L’agent atteignait son objectif économique, mais il s’était complètement écarté de sa contrainte cruciale de conformité à la souveraineté des données, démontrant un écart dangereux entre l’intention politique et l’exécution autonome.
La difficulté d’auditer la prise de décision non linéaire
Deuxièmement, j’ai dû faire face à l’impossibilité du défi de l’auditabilité lorsqu’une chaîne d’agents coopérants a pris une décision dont je ne pouvais pas retracer. J’avais besoin de comprendre pourquoi une décision cruciale en matière de gestion de la chaîne d’approvisionnement avait été prise ; cela a entraîné un retard qui nous a coûté plusieurs milliers de livres sterling.
J’ai fouillé dans les journaux, m’attendant à une séquence claire d’événements. Au lieu de cela, j’ai trouvé une conversation confuse entre quatre agents d’IA différents : un agent d’approvisionnement, un agent logistique, un agent de négociation et un agent de profilage des risques. Chaque action était construite sur le résultat de la précédente, et même si je pouvais voir l’action finale enregistrée, je ne pouvais pas facilement identifier la cause profonde ou le contexte de raisonnement spécifique qui a initié la séquence. Notre système traditionnel d’agrégation de journaux, conçu pour suivre l’activité humaine ou un simple programme, était totalement inutile face à une décision collaborative non linéaire d’un agent.
Le manque de compétences de l’IA en matière d’ambiguïté peut affecter la conformité
Enfin, j’ai été confronté à la froide réalité d’un vide réglementaire où les règles de conformité existantes étaient ambiguës pour les systèmes autonomes. J’ai demandé à mon équipe de comparer nos exigences GRC actuelles en matière de criminalité financière à un nouvel agent de détection de fraude interne. La politique indiquait clairement qu’un analyste humain devait approuver « toute décision visant à signaler une transaction et à geler des fonds ». L’agent, cependant, a été conçu pour effectuer un micro-gel et l’isolement des actifs en attendant un examen, une distinction subtile mais significative qui tombait dans une zone grise.
J’ai réalisé que l’agent avait l’intention de suivre la règle, mais le moyen qu’il a utilisé – une restriction autonome et temporaire des actifs – constituait une violation non examinée de l’esprit de la réglementation. Nos anciens documents GRC ne parlent tout simplement pas le langage de l’autonomie.
Gouvernance en temps réel grâce à la télémétrie des agents
Le changement que je préconise est fondamental : nous devons faire passer la gouvernance GRC d’une activité périodique, pilotée par l’humain, à une capacité opérationnelle adaptative, continue et sensible au contexte, intégrée directement dans la plateforme d’IA agentique.
La première étape critique consiste à mettre en œuvre une gouvernance et une télémétrie en temps réel. Cela signifie que nous cessons de nous fier uniquement aux journaux des points de terminaison qui nous indiquent uniquement ce que l’agent a fait et que nous nous concentrons plutôt sur l’intégration de la surveillance dans l’environnement d’exploitation de l’agent pour capturer le pourquoi et le comment.
J’insiste sur l’instrumentation des agents pour qu’ils diffusent leur état interne en continu. Considérez cela comme un système nerveux numérique, conforme aux principes énoncés dans le cadre de gestion des risques de l’IA du NIST.
Nous devons définir un ensemble de seuils de sécurité et de mesures de gouvernance dont l’agent est conscient et ne peut pas violer. Il ne s’agit pas d’une simple limite stricte, mais d’une limite dynamique qui utilise l’apprentissage automatique pour détecter les écarts anormaux par rapport à la posture de conformité convenue.
Si un agent commence à exécuter une séquence d’actions qui augmentent collectivement le profil de risque. Par exemple, il y a une augmentation soudaine des demandes d’accès à des systèmes disparates et sensibles ; la télémétrie devrait le signaler comme une anomalie de gouvernance avant que l’action finale et dommageable ne se produise. Cette surveillance proactive nous permet de gouverner par exception et d’intervenir efficacement, garantissant ainsi de maintenir une impulsion constante sur le niveau de risque.
La piste d’audit évolutive : le traçage des intentions
Pour résoudre mon deuxième scénario, la chaîne de décision opaque, nous devons redéfinir la nature même de la piste d’audit. Un simple examen des journaux qui capture les entrées et les sorties est insuffisant. Nous devons faire évoluer la fonction d’audit pour nous concentrer sur le traçage des intentions.
Je propose que chaque agent soit mandaté pour générer et stocker un vecteur de contexte de raisonnement (RCV) pour chaque décision critique qu’il prend. Le RCV est un enregistrement cryptographique structuré des facteurs qui ont motivé le choix de l’agent. Il comprend non seulement les données entrées, mais également les paramètres spécifiques du modèle, les objectifs pondérés utilisés à ce moment-là, les contrefactuels considérés et, surtout, les contraintes GRC spécifiques auxquelles l’agent a accédé et appliqué au cours de sa délibération.
Cette approche transforme le processus d’audit. Lorsque je dois examiner un retard coûteux dans la chaîne d’approvisionnement, je ne parcoure plus des millions d’entrées de journaux. Au lieu de cela, j’interroge les RCV pour connaître la décision finale et je remonte le lien de causalité à travers la chaîne des agents coopérants, identifiant immédiatement quel agent a introduit la contrainte ou la logique qui a conduit au résultat indésirable.
Cette méthode permet aux auditeurs et aux enquêteurs d’examiner la logique du système plutôt que simplement le résultat, satisfaisant ainsi la demande de systèmes auditables et traçables alignés sur les normes internationales en développement.
Le remplacement de l’humain dans la boucle
Enfin, nous devons résoudre le problème du « gros bouton rouge » inhérent à la priorité de l’humain dans la boucle. Pour l’IA agentique, ce bouton ne peut pas être un simple interrupteur d’arrêt, qui interromprait les opérations critiques et provoquerait des perturbations massives. Le contournement doit être non obstructif et hautement contextuel, comme le précisent les Principes de l’OCDE sur l’IA : Responsabilité et surveillance humaine.
Ma solution consiste à concevoir un mécanisme d’intervention à plusieurs niveaux qui garantit que l’humain, dans ce cas, le RSSI ou le CRO, conserve la responsabilité et le contrôle ultimes.
Niveau un : injection de contraintes
Au lieu d’arrêter l’agent, j’injecte une nouvelle contrainte temporaire directement dans la fonction objectif opérationnelle de l’agent. Si un agent de détection de fraude est trop agressif, je ne le ferme pas ; J’injecte une contrainte qui abaisse temporairement le seuil de sensibilité ou redirige sa sortie vers une file d’attente humaine pour examen. Cela corrige immédiatement le comportement sans provoquer de crash opérationnel.
Niveau deux : transfert contextuel
Si l’agent rencontre une zone grise GRC, comme dans mon scénario de criminalité financière, il doit initier un transfert sécurisé et asynchrone vers un analyste humain. L’agent fournit à l’humain le RCV complet, lui demandant une décision définitive sur la règle ambiguë. La décision humaine devient alors une nouvelle règle temporaire intégrée à la logique de l’agent, permettant au cadre GRC lui-même d’apprendre et de s’adapter en temps réel.
Nous entrons dans une ère où nos systèmes agiront en notre nom avec peu ou pas d’intervention humaine. Ma priorité – et la vôtre – doit être de garantir que l’autonomie de l’IA ne se traduise pas par une absence de responsabilité. J’exhorte tous les hauts responsables de la sécurité et des risques à mettre leurs équipes GRC actuelles au défi de regarder au-delà de la liste de contrôle statique. Construisez un cadre adaptatif aujourd’hui, car les agents opérationnalisent déjà les risques de demain.
Cet article est publié dans le cadre du Foundry Expert Contributor Network.
Voulez-vous nous rejoindre ?
