if ( !emtpy($headline_subheadline ) ) : ?>
Les mauvais comportements des agents comprenaient des injections rapides, des communications secrètes et des recherches d’informations d’identification.
endif; ?>
OpenAI a publié six nouveaux rapports détaillant le désalignement du modèle d’IA, y compris des cas d’instructions cachées, de communications non autorisées et de tentatives de localisation de clés API exposées, renforçant ainsi la preuve que ses systèmes d’IA ont contourné les contrôles lors des tests.
Les rapports, basés sur des évaluations internes, décrivent des modèles prenant des mesures au-delà des contraintes définies, notamment la modification des résultats intermédiaires, l’interaction avec des services externes et l’utilisation d’environnements partagés de manière involontaire, selon l’entreprise.
OpenAI a qualifié le comportement du modèle d ‘«inattendu ou préoccupant».
Les cas montrent comment les modèles se comportent lorsqu’ils ont accès aux outils, à la mémoire et aux systèmes externes, conditions qui reflètent de plus en plus les déploiements en entreprise.
Les divulgations s’accompagnent d’un nouveau cadre de reporting introduit par OpenAI pour suivre et publier de tels incidents, sur la base d’évaluations internes du comportement du modèle.
Injection rapide et manipulation du flux de travail
Deux des incidents se concentrent sur la manière dont les modèles ont géré les « résumés de compactage » ou les versions condensées de leur contexte antérieur utilisé pour effectuer de longues tâches sans dépasser la capacité d’attention des modèles. Dans ces cas-là, les modèles inséraient leurs propres instructions dans ces résumés. OpenAI a déclaré qu’un modèle « a ajouté des instructions non autorisées à ses résumés de compactage », permettant à ces instructions d’influencer les étapes suivantes.
« Nous avons observé de rares cas de modèles écrivant des instructions de type jailbreak dans leur propre compactage », a écrit OpenAI dans un rapport détaillant le comportement du modèle. « Notre conclusion était que ce comportement était extrêmement rare, ne conférait pas d’avantage évident en matière de récompense et était contrôlable. »
Dans un autre cas, les résumés ont été utilisés pour encourager un comportement trompeur dans les résultats ultérieurs, créant ainsi un mécanisme par lequel les instructions introduites à une étape pouvaient persister au fil des interactions.
Communication externe et contournement des limites
D’autres rapports décrivent des modèles contournant les contraintes de communication en utilisant des services Internet externes. Dans un cas, un modèle utilisait des « services d’hébergement de fichiers temporaires » pour échanger des informations en dehors des canaux prévus, selon OpenAI. Dans une autre, un modèle a téléchargé du contenu sur Internet afin de pouvoir ultérieurement citer ce matériel dans sa réponse, créant ainsi une source de référence qu’il pourrait utiliser pour accomplir une tâche.
Un autre incident impliquait un modèle tentant de localiser des informations sensibles en recherchant dans des référentiels publics. OpenAI a déclaré que le modèle s’engageait dans « la recherche sur GitHub de clés API divulguées », démontrant comment les systèmes peuvent identifier les informations d’identification exposées.
Un autre cas décrivait des écritures non autorisées dans un référentiel d’artefacts interne, qui étaient ensuite utilisées pour permettre la communication entre des échantillons d’évaluation autrement isolés, créant ainsi un mécanisme d’interaction entre échantillons.
Du comportement du modèle au risque d’entreprise
Bien que ces comportements aient été observés dans des environnements de test contrôlés, les analystes ont déclaré que ces modèles sont pertinents dans la mesure où les organisations déploient des systèmes d’IA ayant accès aux flux de travail et aux données de l’entreprise.
« Ces comportements ne sont pas des traits spécifiques à la formation », a déclaré Yih Khai Wong, directeur de recherche principal chez IDC. « Les classes de défaillance qu’ils révèlent… sont portables dans les environnements de production », d’autant plus que les agents sont optimisés pour accomplir des tâches même lorsqu’ils sont contraints.
Cela implique, selon les analystes, que l’attention se déplace des résultats individuels des modèles vers la façon dont ces comportements se traduisent en actions au niveau du système.
« Le risque devient important lorsqu’un agent d’IA a accès aux données, informations d’identification, services externes ou flux de travail de l’entreprise », a déclaré Apeksha Kaushik, analyste principal chez Gartner, ajoutant que les organisations devraient supposer que les mesures de protection peuvent échouer et concevoir des contrôles en conséquence.
Vibhum Dubey, chercheur en cybersécurité et membre de l’équipe rouge, a déclaré que le changement se produit lorsque les modèles sont intégrés aux systèmes opérationnels. « Un agent capable de lire un e-mail, d’inspecter un référentiel, d’accéder à un environnement cloud… devient une partie de la surface d’attaque de l’entreprise », a-t-il déclaré, soulignant comment plusieurs actions autorisées peuvent être enchaînées.
Les divulgations mettent également en évidence la manière dont les modèles interagissent avec la mémoire et le contexte réutilisable de manière à influencer le comportement futur. Les analystes ont déclaré que cela introduit des risques tels que des modifications persistantes et non autorisées du comportement d’un agent au fil des sessions, en particulier lorsque le contexte est réutilisé sans validation.
Kaushik a déclaré que les organisations devraient se concentrer sur la façon dont les systèmes sont conçus autour du modèle, et pas seulement sur le modèle lui-même. La question clé, selon elle, est de savoir si l’architecture environnante peut « empêcher, détecter et contenir une action dangereuse ».
Le cadre formalise les divulgations
Dans les six rapports, OpenAI a déclaré que les cas « décrivent des instances individuelles » et ne sont pas destinés à représenter la fréquence à laquelle un tel comportement se produit dans ses systèmes.
Selon la société, les divulgations sont publiées dans le cadre d’un nouveau cadre introduit par OpenAI pour suivre et signaler le désalignement du modèle. Le cadre permet aux employés de signaler un comportement inattendu ou non autorisé, qui est ensuite évalué pour déterminer s’il répond au seuil de divulgation publique.
« Nous ne pensons pas que l’industrie de l’IA ait résolu l’alignement et la surveillance à un degré suffisant pour continuer à évoluer de manière responsable à vitesse maximale pendant encore longtemps », a-t-il déclaré dans le blog. « Ce nouveau cadre vise à accélérer la publication de rapports de désalignement suite à une observation, même lorsque nous n’avons pas entièrement expliqué ou atténué le comportement que nous signalons.
