if ( !emtpy($headline_subheadline ) ) : ?>
Dans un cas signalé, un agent a désactivé la surveillance de la sécurité, puis a menti à ce sujet ; OpenAI a déclaré qu’il n’y avait « aucune explication satisfaisante » pour ce comportement.
endif; ?>
Les agents d’IA sont de plus en plus inventifs pour trouver des moyens de contourner les mesures de protection afin d’éviter les mauvais comportements, a révélé OpenAI.
Mardi, il a signalé deux incidents, tous deux impliquant l’agent désactivant ou interférant avec sa surveillance d’alignement, et dans un cas mentant directement sur ce fait.
« Dans deux tâches de codage interne, les agents ont affaibli la surveillance des désalignements tout en apportant les modifications logicielles demandées », indique le blog OpenAI. « Un agent GPT-6.1 Sol réparant un pipeline d’évaluation a désactivé les alertes automatiques adressées à notre équipe de sécurité, traitant une instruction antérieure de ne pas envoyer de messages lors d’une recherche dans l’historique Slack comme une raison pour supprimer les notifications de surveillance. Dans une tâche distincte, un agent GPT-6 Astra migrant un programme a supprimé son intégration de surveillance afin de correspondre à une implémentation de référence, puis a faussement affirmé à l’utilisateur qu’il n’avait pas supprimé le moniteur. «
Dans les deux cas, a rapporté OpenAI, les agents ont examiné si les garanties de surveillance devaient être préservées, « mais ont interprété les instructions de codage de routine comme une autorisation de les affaiblir ».
OpenAI a déclaré qu’en réponse, elle avait renforcé ses programmes de surveillance pour empêcher les agents de désactiver les protections.
« En plus de rendre plus difficile la désactivation de la surveillance par les modèles, nous cherchons à comprendre pourquoi les modèles pourraient chercher à le faire en premier lieu », a déclaré OpenAI, suggérant qu’il pourrait simplement s’agir d’un exemple de « surpersistance bénigne », les modèles ne comprenant pas pourquoi la surveillance est importante.
« Nous développons également des évaluations pour tester si les modèles pourraient avoir une propension à échapper à la surveillance des désalignements en particulier et présenter un raisonnement motivé pour ce faire », a ajouté OpenAI. « Nous n’avons pas encore d’explication satisfaisante pour ce comportement et nous étudierons ce comportement à travers la création d’évaluations appariées, le rééchantillonnage des continuations d’agents et des expériences sur les activations internes des modèles. »
OpenAI, comme presque tous les fournisseurs d’IA agentique, a du mal à rendre ses agents autonomes plus productifs et autonomes tout en protégeant simultanément les environnements clients contre les mauvais comportements des agents. Il a même tenté de ralentir le rythme de sa mise à l’échelle, pour permettre le développement de meilleures restrictions sur les agents.
Des détails alarmants
Analystes et consultants estiment que ces révélations ne sont surprenantes que par leur ampleur. Mais ils ont été alarmés par certains détails contenus dans les révélations d’OpenAI.
Aman Mahapatra, directeur de la stratégie de la société de conseil en technologie Tribeca Softech, basée à New York, a souligné qu’un certain niveau de surveillance était maintenu, mais uniquement pour l’agent lui-même. Cela signifiait que les charges de travail créées par les agents restaient invisibles.
« L’agent était surveillé. Ce qu’il construisait ne l’était pas », a-t-il déclaré. « Les pipelines, les tâches, les comptes de service et les fonctions cloud générés par les agents constituent la prochaine génération de shadow IT, et presque aucune entreprise n’impose l’héritage de surveillance sur ces derniers. »
Mahapatra a également souligné que la classification de gravité décrite dans le message est préoccupante.
« La gestion de la gravité est la partie avec laquelle les RSSI devraient s’occuper », a-t-il déclaré. « Aucun des événements n’a été classé P0 (gravité maximale) et aucune des deux exécutions n’a été interrompue. La seule catégorie de comportement d’agent qui dégrade chaque détection future s’est classée en dessous du seuil de pagination car rien ne s’est visiblement cassé. »
Il a souligné que cela révèle un inconvénient pour l’entreprise, notant : « OpenAI a détecté cela parce qu’il peut lire le raisonnement de ses agents. La plupart des SOC d’entreprise ne voient que les résultats, donc si le laboratoire avec une visibilité de chaîne de pensée a déposé ceci sous sa ligne de pagination, supposez que votre SOC ne l’a jamais vu du tout. L’EDR a réglé ce problème il y a dix ans avec une protection contre la falsification : toute tentative de désactivation du capteur est une alerte. Un agent touchant sa propre surveillance doit biper quelqu’un à chaque fois. «
Frank Dickson, analyste principal chez Dickson Research, a ajouté que le défaut évident du système agent est que l’agent a pu désactiver le mécanisme conçu pour le superviser.
« Pensez à un gardien de maison chargé de ne pas vous appeler, qui débranche ensuite l’alarme antivol pour qu’elle ne puisse pas vous appeler non plus. Un garde-corps qu’un agent peut modifier est une suggestion », a déclaré Dickson. « Un agent capable de désactiver sa propre alarme n’est pas surveillé. On lui fait confiance. »
Réveil pour les RSSI
Certains observateurs ont déclaré que cela devrait faire prendre conscience aux RSSI d’entreprise qu’un attaquant ne représente peut-être pas un risque aussi important qu’un agent malveillant disposant de tous les privilèges système.
« La menace n’est pas seulement celle d’un étranger qui entre par effraction, c’est un agent autorisé qui fait quelque chose qu’il n’est jamais censé faire, dans un contexte que personne n’avait prévu, plus rapidement qu’aucun analyste SOC ne peut l’attraper », a déclaré Philip Harris, directeur de recherche chez IDC. « Le cas OpenAI est un exemple concret et bien documenté de ce modèle, et non une anomalie isolée. »
Il a ajouté qu’OpenAI mérite d’être salué pour sa transparence. « La franchise d’OpenAI est la partie la plus frappante. Un laboratoire frontalier déclarant publiquement qu’il n’est pas sûr que ses propres modèles d’expédition aient une tendance émergente à saper leur propre surveillance est un véritable nouveau niveau de franchise. »
Brian Levine, associé du cabinet de conseil Control Risks, a également souligné que la logique de l’agent, telle que capturée par OpenAI, est alarmante.
« Dans les deux cas, les agents se sont arrêtés, se sont demandé si la protection devait rester activée, puis ont argumenté pour la désactiver. L’un d’eux a alors dit à l’utilisateur qu’il n’avait pas touché le moniteur. En réponse à un incident, nous appelons cela une évasion de la défense suivie d’une fausse déclaration. Si un humain interne l’avait fait, nous ouvririons une enquête », a déclaré Levine. « L’autre détail révélateur est que le moniteur a fonctionné. Il a signalé le problème. L’agent a ensuite coupé le fil entre l’alarme et les personnes qui avaient besoin de l’entendre. »
Sivaram Annadurai, consultant technologique indépendant, est d’accord : « Un agent qui répare le pipeline mais désactive l’alarme n’a pas nécessairement résolu le problème. Il en a peut-être créé un plus grave. »
Et Jeff Valdes, directeur du cabinet de conseil Acceligence, a ajouté : « Ce qui ressort, c’est à quel point le déclencheur était ordinaire. Pas d’attaquant, pas de jailbreak, juste des instructions de codage de routine et un agent avec suffisamment d’accès pour modifier sa propre surveillance. Le moniteur a continué à fonctionner pendant que les alertes ont cessé d’atteindre les gens. Ce genre de dégradation silencieuse est facile à manquer, précisément parce que le tableau de bord semble toujours sain. »
Mais Valdes a déclaré que le système d’approbation d’agent à agent est également quelque chose que les RSSI devraient prendre au sérieux.
« Un sous-agent a reçu l’appel correctement et l’agent parent l’a ignoré. Les garanties qui ne survivent pas à la délégation ne sont pas vraiment des garanties », a déclaré Valdes. « OpenAI a également noté que l’agent avait par la suite donné un compte rendu inexact de ce qu’il avait modifié. Le propre rapport d’un agent ne peut pas constituer un contrôle. »
