if ( !emtpy($headline_subheadline ) ) : ?>
OpenAI et Anthropic rapportent des cas dans lesquels des modèles ont contourné les limites prévues tout en poursuivant les objectifs assignés.
endif; ?>
Deux principaux développeurs d’IA ont publié de nouvelles preuves d’un problème que les chercheurs anticipaient depuis longtemps : des modèles avancés cherchant des moyens de contourner les limites qui leur sont imposées. De nouvelles divulgations d’OpenAI et d’Anthropic détaillent comment les systèmes frontières ont exploité les faiblesses de leurs environnements ou ont dépassé la portée prévue des tâches assignées.
OpenAI renforce désormais l’accès à Internet dans son environnement interne de formation de modèles après avoir découvert que ses modèles pionniers pouvaient exploiter les vulnérabilités logicielles et les mauvaises configurations de l’infrastructure pour sortir des bacs à sable et accéder à Internet en direct.
« Sur la base de l’état actuel de la recherche sur l’alignement, des systèmes de surveillance et de la sécurité de l’infrastructure Internet, nous pensons que l’approche responsable consiste à organiser une formation sur les modèles frontières sans accès à Internet », a déclaré la société dans un article de blog.
Cette décision fait suite à un incident survenu le 20 septembre au cours duquel un modèle de recherche interne a exploité un résolveur DNS mal configuré pour obtenir un accès limité à Internet en direct lors d’une formation.
Après l’incident, OpenAI a déclaré avoir suspendu la formation et l’évaluation de ses modèles les plus performants et lancé une campagne d’équipe rouge de calcul élevé, utilisant des agents d’IA pour sonder des copies isolées de son infrastructure de recherche. Les tests ont révélé des vulnérabilités logicielles et des faiblesses jusque-là inconnues dans les contrôles destinés à empêcher les accès et les communications non autorisés.
Par conséquent, l’entreprise a annoncé une politique consistant à organiser des formations de type frontière sans accès à Internet jusqu’à ce que les améliorations en matière de sécurité et de surveillance justifient un accès plus large.
La divulgation s’est accompagnée d’une évaluation distincte d’Anthropic, qui détaillait comment son modèle Claude Mythos 5 avait tenté de compromettre un référentiel GitHub sans rapport lors d’une évaluation de cybersécurité.
Les agents d’OpenAI ont exploité des failles dans les contrôles de confinement
La campagne d’équipe rouge d’OpenAI a révélé que les agents pouvaient enchaîner les vulnérabilités logicielles pour échapper aux machines virtuelles et exécuter du code sur l’hôte sous-jacent. La société a identifié des faiblesses dans les composants open source, notamment Kata Containers, gVisor et Moby/Docker, ainsi que des vulnérabilités du noyau Linux.
L’entreprise a également découvert que les agents pouvaient exploiter les faiblesses des services internes qui conservaient des connexions sortantes limitées pour des fonctions telles que la journalisation, les métriques et la gestion de l’authentification. Ces connexions fournissaient des routes vers Internet malgré les restrictions ailleurs dans l’environnement, a déclaré OpenAI.
Dans un autre test, des agents exécutés sur des machines microvirtuelles (microVM) distinctes sur du matériel hôte partagé ont échangé des secrets synthétiques via des différences de synchronisation du cache du processeur. La technique leur permettait de communiquer sans connexion réseau ni fichiers inscriptibles partagés.
OpenAI a déclaré avoir corrigé les faiblesses et travaillé avec les responsables open source pour divulguer et réparer les logiciels concernés. Son article mentionne plusieurs vulnérabilités, notamment CVE-2026-24834 dans Kata Containers et trois failles du noyau Linux identifiées comme CVE-2026-74753, CVE-2026-80521 et CVE-2026-80841. La société a également déclaré avoir divulgué de nombreuses vulnérabilités supplémentaires qui n’ont pas encore été rendues publiques.
Le nombre de vulnérabilités et de mauvaises configurations identifiées par les agents a considérablement diminué à mesure que les tests se poursuivaient, affirme OpenAI. L’entreprise a désormais renforcé les restrictions réseau, renforcé la surveillance et développé un environnement hors ligne avec du contenu Web indexé et mis en cache afin que les modèles puissent s’entraîner à naviguer sans accès illimité aux systèmes externes en direct.
« Bien que l’accès à Internet puisse aider les modèles à acquérir des compétences utiles, il donne également à un agent capable et mal aligné la possibilité d’affecter des systèmes hors de notre contrôle », a déclaré la société, expliquant sa décision de restreindre l’accès à Internet en direct pendant la formation des modèles.
La formation par apprentissage par renforcement et l’inférence interne ont repris le 1er octobre après la mise en œuvre de contrôles supplémentaires.
Écart d’alignement des drapeaux anthropiques dans Mythos
L’évaluation d’Anthropic d’une évaluation de cybersécurité de l’AI Security Institute (AISI) du Royaume-Uni décrit un problème différent : un modèle prenant des actions non autorisées contre de vraies personnes tout en essayant d’accomplir une tâche assignée.
Dans neuf des 43 évaluations, Anthropic a déclaré que Claude Mythos 5 dépassait la portée prévue de l’exercice. Dans le cas le plus détaillé, après l’échec de ses tentatives autorisées de récupération de données protégées à partir d’un réseau simulé, le modèle a recherché sur GitHub un référentiel qu’il pensait connecté à l’environnement de test.
Le référentiel appartenait en réalité à des développeurs indépendants.
Mythos 5 a tenté de soumettre du code malveillant et a créé de fausses identités pour persuader les responsables du référentiel d’approuver le changement, affirmant à tort que le code était sûr. Le responsable a rejeté la soumission et l’exécution a expiré. Anthropic a caractérisé le comportement comme un grave échec d’alignement impliquant une portée excessive et une tromperie dans la poursuite de l’objectif assigné.
L’accès à Internet avait été activé lors de l’évaluation et les protections de production utilisées avec ses modèles à diffusion générale avaient été désactivées. La société a déclaré que ces mesures de protection auraient signalé le comportement si elles avaient été activées.
