Selon certains experts, les organisations qui déploient des agents d’IA sans processus ni outils d’observabilité sont des catastrophes imminentes.
Les DSI qui s’empressent de déployer des agents IA sans réelle visibilité sur leurs processus décisionnels flirtent avec la catastrophe.
Selon les experts en IA, le déploiement d’agents sans processus ni outils d’observabilité crée une bombe à retardement susceptible d’avoir d’énormes conséquences négatives.
De nombreuses entreprises déploient des agents d’IA et s’attendent à ce qu’ils augmentent leur productivité avec peu d’intervention humaine, observe TJ Marlin, PDG de la société de sécurité IA Guardrail Technologies. Ce n’est pas la bonne approche, dit-il. Les équipes informatiques doivent plutôt surveiller de près les agents et ajuster les politiques et les pratiques tout au long du processus agent.
« Il ne s’agit pas simplement de le régler et de l’oublier comme une mijoteuse », dit-il. « Vous ne le mettez pas dans la cuisine le matin avec le poulet à l’intérieur et revenez le soir et prenez un bon dîner. Les organisations qui font cela vont faire la une parce qu’il leur est arrivé quelque chose de terrible. »
De nombreuses organisations déploient rapidement des agents par crainte de passer à côté, sans comprendre les nuances de la technologie, explique Marlin. Certains responsables informatiques semblent comparer les agents à l’automatisation robotique des processus, alors que les résultats de la RPA sont bien plus déterministes, ajoute-t-il.
« Il y a une pénurie de talents et de connaissances et les gens construisent à un rythme soutenu sans vérifier si c’est correct et si cela fonctionne comme prévu », dit-il. « Ce sont toutes les caractéristiques des pires catastrophes que j’ai vues au cours de ma carrière. »
Un récent rapport du fournisseur de gouvernance des agents TrueFoundry met les chiffres derrière les craintes concernant les agents non réglementés. Une enquête menée auprès de plus de 200 responsables de l’IA d’entreprise a révélé que 54 % des organisations représentées ne peuvent pas suivre entièrement ce que font leurs agents et 56 % ne disposent d’aucun contrôle centralisé des agents ni d’aucune couche de gouvernance.
Même si TrueFoundry a intérêt à faire progresser la gouvernance des agents, de nombreux autres experts en IA constatent les mêmes problèmes.
Gouverner à l’aveugle
Les difficultés de gouvernance et d’observabilité constituent des obstacles majeurs au déploiement d’agents productifs, et de nombreuses organisations déploient des agents sans en créer une liste centralisée, explique Mahesh Kumar Goyal, expert senior en données et IA chez Google.
« La plupart des entreprises ne disposent pas d’un inventaire des agents déjà en production : elles essaient de contrôler ce qu’elles ne peuvent pas voir », dit-il.
De plus, les outils de sécurité SIEM et EDR traditionnels ont été conçus pour détecter les anomalies humaines, et non les agents malveillants, note-t-il. « Un agent exécutant parfaitement du code 10 000 fois de suite semble normal, même s’il a été piraté », dit-il.
Exécuter des agents entièrement autonomes n’est pas une bonne idée, ajoute-t-il, et les organisations doivent penser aux autorisations d’outils limitées au moindre privilège, aux couches d’application des politiques qui gèrent chaque invite et appel d’outil, et au traçage de bout en bout qui regroupe les invites, les appels d’outils et les actions en aval en une seule piste auditable.
« Le système financier ne repose pas sur la confiance ; il repose sur l’auditabilité, la réconciliation et les disjoncteurs », explique Goyal. « Les agents mûriront de la même manière. L’autonomie à plusieurs niveaux est la réponse réaliste : libre cours aux tâches à faibles enjeux, humain au courant des tâches conséquentes. »
Une partie du problème réside dans le fait que les agents ont bouleversé les modèles utilisés pour déterminer si les logiciels traditionnels fonctionnaient correctement, ajoute Adel El Hallak, vice-président des logiciels d’IA chez Nvidia. Avec les logiciels traditionnels, les professionnels de l’assurance qualité et de la sécurité pourraient examiner le code pour déboguer les problèmes, mais les agents prennent des décisions dans l’environnement d’exécution d’un modèle d’IA.
La source de vérité pour les agents réside dans les traces, les enregistrements du flux d’exécution, et non dans le code, ajoute-t-il. La collecte de traces – essentiellement des journaux détaillés – est un premier pas vers la gouvernance des agents, mais les organisations doivent être capables d’agir sur la base de ces informations, dit-il.
« Pour que vous puissiez faire confiance à quelque chose, cela doit être transparent, et l’observabilité est fondamentale à la transparence », ajoute El Hallak. « Mais il ne suffit pas d’observer. Nous devons être capables de prendre ces signaux et de les transformer en quelque chose d’actionnable. »
La gouvernance des agents va au-delà de l’observabilité pour permettre aux organisations de tester et d’affiner les agents en permanence, explique-t-il. Les outils existent, avec des sociétés comme Nvidia qui construisent leurs propres cadres de gouvernance interne, et plusieurs autres fournisseurs proposant des outils d’observabilité et de gouvernance des agents, note-t-il.
« Il ne suffit pas de disposer de données comportementales pour capturer les données de feedback », dit-il. « Le système doit me permettre d’annoter, de modifier, d’augmenter ou de créer des données de feedback supplémentaires, puis de pouvoir utiliser ces données pour améliorer mon agent dans son ensemble. »
Le goulot d’étranglement de la gouvernance
Dans le même temps, de nombreuses entreprises qui se lancent dans la gouvernance des agents ont constaté que si cela était mal fait, cela pouvait constituer un énorme goulot d’étranglement, explique Nirmal Ganesh, directeur principal de la gestion des produits pour l’automatisation des flux de travail agents chez Box, fournisseur de stockage cloud.
« Je ne pense pas que nous ayons encore dépassé le plus dur en termes de déploiement d’agents dans l’entreprise », dit-il. « La plupart des entreprises ne sont pas encore performantes dans ce domaine, et beaucoup moins d’entre elles sont parvenues à les gérer à grande échelle avec la gouvernance et l’observabilité des agents. »
Ganesh constate plusieurs problèmes, notamment l’exécution d’agents sans modèles d’autorisation clairs. « Si un agent peut voir plus qu’une personne ou accéder à plus de contenu ou de données que l’autorisation d’une personne, c’est qu’un incident est sur le point de se produire », dit-il.
Cependant, certains des premiers modèles de gouvernance des agents ne sont pas évolutifs. Certaines équipes informatiques ont par défaut opté pour une position où les humains doivent approuver chaque sortie d’un agent, car c’est l’option la plus sûre, dit-il.
« En réalité, il s’agit de reconstruire un processus manuel avec davantage de points de contrôle ou de suggestions », explique Ganesh. « À un volume élevé, la gouvernance est votre goulot d’étranglement pour évoluer et non plus votre filet de sécurité. »
Les organisations ont besoin de processus d’observabilité et de gouvernance en place qui soient à la fois évolutifs et complets, ajoute-t-il. Le retour sur investissement des agents proviendra de garde-fous solides, de modèles d’autorisation clairs et d’une implication claire de l’humain dans la boucle, dit-il.
« Toute automatisation mature a besoin d’une observabilité continue : les flux de travail changent, les politiques changent, les décisions changent, de nouveaux cas d’utilisation apparaissent », dit-il. « L’intervention humaine est toujours nécessaire pour ce qui change au fil du temps, mais nous avons besoin de moins d’intervention pour les chemins connus et de nous concentrer davantage sur la gestion des exceptions et le réglage fin de la gouvernance. »
Observer la production ne suffit pas
La gouvernance ne peut pas se concentrer uniquement sur le rendement des agents, ajoute Marcelo Lorenzetti, fondateur et CAIO du fournisseur d’IA de services juridiques SavvyLex.
« Le plus grand défi n’est pas simplement de savoir si un agent produit une bonne réponse », dit-il. « Il s’agit de savoir si l’organisation peut prouver à quoi l’agent a accédé, quelles instructions il a suivies, quels outils il a invoqués, quelles décisions il a prises, où un humain est intervenu et s’il est resté dans les limites autorisées. »
Sans un niveau complet de visibilité sur l’exécution, les entreprises se retrouvent avec des captures d’écran, des journaux et des explications après coup qui peuvent ne pas répondre aux exigences juridiques, de conformité ou de sécurité, dit-il.
Les agents doivent être vérifiés en permanence plutôt que totalement fiables, ajoute-t-il, avec une gouvernance intégrée à l’architecture de l’agent elle-même. La gouvernance doit inclure un accès basé sur les rôles, une exécution liée aux politiques, des seuils d’approbation humaine, la provenance des sources et des outils, des enregistrements d’activités immuables, un score de confiance, une gestion des exceptions et des chemins de remontée clairs lorsqu’un agent atteint les limites de son autorité, recommande-t-il.
« L’observabilité ne devrait pas se limiter à la réponse du modèle », explique Lorenzetti. « Il devrait montrer le cheminement décisionnel complet, de la contribution à l’action. »
Les agents d’IA ont modifié le modèle de gouvernance nécessaire, ajoute-t-il.
« Le principal problème est que de nombreuses entreprises passent d’une IA qui répond aux questions à une IA qui prend des mesures, mais leurs modèles de gouvernance sont toujours construits pour des outils passifs, et non pour des flux de travail autonomes », dit-il.
