if ( !emtpy($headline_subheadline ) ) : ?>
Suite à trois récents incidents de sécurité impliquant Claude, Anthropic migre vers des environnements plus isolés, une surveillance continue, des instructions explicites et une intervention humaine proactive.
endif; ?>
Tirant les leçons du fiasco d’OpenAI-Hugging Face, ainsi que des récentes révélations sur son propre modèle, Anthropic réorganise ses pratiques de sécurité et d’alignement.
La société a établi des contrôles qui signalent lorsqu’un modèle tente de sortir d’un bac à sable ou d’accéder avec succès à Internet en direct, a bouclé ses environnements de test les plus à risque et a proposé un ensemble de normes de sécurité pour ses partenaires de test externes, comme donner aux agents d’IA des instructions explicites telles que « vous ne devriez pas accéder à Internet ».
Anthropic a admis que trois récents incidents de sécurité impliquant Claude reflétaient un « échec de la sécurité opérationnelle » et révélaient également des problèmes avec les capacités de raisonnement du modèle et une « imprudence ». Les événements récents « ont souligné que l’urgence d’améliorer nos défenses en matière de cybersécurité est encore plus grande que nous ne le pensions auparavant », a noté la société.
L’approche d’Anthropic en matière de sécurité et d’alignement
La société a lancé une enquête sur sa propre posture de sécurité en juillet à la suite de l’incident alarmant d’OpenAI au cours duquel des modèles GPT se sont échappés d’un environnement sandbox et ont arbitrairement attaqué Hugging Face.
L’entreprise a ensuite révélé trois situations lors de tests de cybersécurité dans lesquelles des modèles de Claude (Opus 4.7, Mythos 5 et un modèle de recherche interne) ont accédé à des systèmes informatiques qu’ils n’auraient pas dû être autorisés à toucher.
Les modèles préliminaires fonctionnaient intentionnellement sans cybersécurité, une pratique courante lors des premiers tests, et étaient capables d’exploiter des erreurs de configuration dans les paramètres d’un tiers en utilisant des techniques de piratage de base. Des failles dans leur raisonnement les ont amenés à croire que toutes les entités auxquelles ils avaient accédé, y compris celles présentes sur Internet en direct, étaient concernées par leur exercice de capture du drapeau.
Anthropic a soutenu que sa posture de sécurité interne n’était pas un facteur contributif. Les exploits se sont produits dans un environnement tiers où l’accès à Internet était laissé ouvert par erreur, de sorte que « les modèles n’avaient pas besoin de « pirater » quoi que ce soit, même s’ils avaient été enclins à le faire.
Pourtant, les incidents ont souligné l’importance de renforcer le bac à sable lui-même, a déclaré la société. Jusqu’à présent, les constructeurs « s’appuyaient largement sur une seule couche de défense », c’est-à-dire la configuration de l’environnement, alors qu’ils auraient dû mettre en place plusieurs couches, notamment la surveillance, la définition de limites explicites dans les invites et l’étanchéité des bacs à sable.
Suite à ses découvertes, Anthropic a suspendu ses évaluations internes et externes des modèles préliminaires. Les environnements d’apprentissage par renforcement (RL) à plus haut risque pour les modèles préliminaires ont également été interrompus pendant plusieurs semaines, tandis que certains bacs à sable ont été déplacés vers des environnements isolés avec un contrôle de sécurité plus strict.
Les chercheurs ont construit et déployé un classificateur qui identifiait automatiquement les tentatives d’un modèle de « sonder de manière agressive » ou de sortir d’un environnement de test, ainsi que le moment où il accédait par inadvertance à Internet en direct. Ils ont également inspecté les évaluations de modèles précédentes pour identifier les fuites de sandbox ou les mauvaises configurations.
La société a déclaré n’avoir trouvé aucun exemple de modèles dépassant les limites du bac à sable. Et même si plusieurs configurations de sandbox ont été signalées, aucune n’a entraîné une compromission des systèmes externes.
En ce qui concerne l’alignement, cependant, les chercheurs d’Anthropic ont découvert un échec courant avec le raisonnement motivé : les modèles pensaient qu’ils étaient toujours dans un environnement simulé alors qu’ils étaient réellement connectés à Internet ; ainsi, ils ne pensaient pas dépasser les limites de leur laboratoire de tests. L’autre défaut était « l’insouciance », la volonté apparente d’un modèle de prendre des mesures nuisibles dans la nature pour s’assurer qu’il atteigne ses objectifs.
En réponse, les chercheurs ont rééchantillonné les modèles, les ont testés dans des contextes asymétriques et ont filtré les environnements qui incitent à la triche. Ils ont également remanié leur pile RL de production, établi un processus d’examen plus strict, modifié les spécifications concernant les récompenses des modèles et renforcé les critères pour les évaluateurs humains qui rejetaient souvent les faux positifs.
De plus, Anthropic a étendu sa surveillance de l’utilisation interne des employés et continue de regrouper sa pile. Certains environnements RL à haut risque restent suspendus pour examen manuel.
Les chercheurs étudient encore comment, exactement, les modèles ont déterminé s’ils étaient ou non connectés à Internet en direct et s’ils ont sciemment ignoré les signes indiquant qu’ils l’étaient, en raison de défauts dans leur raisonnement. Ils ont également déterminé « empiriquement » que les défauts dans les bacs à sable d’entraînement contribuent de manière disproportionnée à un comportement désaligné.
Cependant, ce n’est pas la seule raison. « Résoudre l’alignement impliquera de résoudre un très large éventail de problèmes potentiels », a noté Anthropic, « et les futurs incidents d’alignement pourraient impliquer des comportements et des causes différents de ceux que nous avons vus jusqu’à présent. »
Tester les meilleures pratiques
Étant donné que les incidents de sécurité Claude se sont produits dans des environnements tiers et que les modèles en préversion disposent souvent de mesures de sécurité plus faibles, Anthropic demande aux sociétés de tests externes de s’engager à respecter un ensemble de bonnes pratiques.
Ils doivent notamment définir explicitement la portée d’un modèle, définir les actions autorisées et à quoi un modèle doit et ne doit pas accéder. Les limites doivent être définies sous forme d’instructions (« vous ne devez pas accéder à Internet ») plutôt que de descriptions de l’environnement (« vous n’avez pas accès à Internet »).
D’autres pratiques suggérées incluent l’exécution d’une surveillance continue et en temps réel, la réalisation d’évaluations dans un bac à sable renforcé sans accès à Internet et la recherche de vulnérabilités avant même d’effectuer des tests, en demandant au modèle lui-même de tenter de sortir de son bac à sable et en lui demandant de rendre compte s’il réussit. De plus, les testeurs doivent confirmer que les défis d’évaluation sont réellement résolubles, plutôt que théoriques, afin que les modèles ne prennent pas d’actions en dehors de leur portée prévue pour les atteindre.
« Étant donné que les évaluations sont parfois menées sur des centaines, voire des milliers d’exécutions, les partenaires devraient idéalement effectuer ces tests en profondeur avant de commencer toute évaluation », a noté Anthropic.
La société a déclaré qu’elle développait de bonnes pratiques pour ceux qui ont accès à Claude Mythos 5, qui fonctionne également sans cybersécurité.
À l’avenir, Anthropic a décrit une stratégie de « défense en profondeur ». Au cours de l’alignement, un modèle est formé pour être « utile, honnête et inoffensif » et est éloigné des actions irréversibles ou non pertinentes sur le plan contextuel. Les modèles disposent d’autorisations minimales et leurs actions sont limitées, tandis que la surveillance hors ligne avertit les humains lorsque les choses ne semblent pas correctes.
Enfin, en dernier recours, les actions à risque sont bloquées sur la base de classificateurs prédéterminés, et les humains peuvent « tirer sur le cordon », retravailler ou suspendre un agent lorsque les couches de sécurité échouent.
La sécurité n’en est qu’une partie
Les experts considèrent cette décision comme une étape positive, même si elle est fondamentale. Les meilleures pratiques, comme une meilleure isolation et une meilleure surveillance, auraient dû être en place avant que les agents ne soient autorisés à pirater les systèmes, a noté David Shipley de Beauceron Security.
« Mieux vaut tard que jamais », a-t-il déclaré, ajoutant : « Toutes ces entreprises pionnières bénéficient d’un marketing humble et criminel, mais il y a de solides améliorations dans cette annonce. »
Le fait que la loi européenne soit désormais en vigueur ajoute un autre niveau de contexte, a souligné Shipley : les régulateurs européens se penchent sur les problèmes de sécurité posés par l’IA frontalière. Ces entreprises ont connu l’une des trajectoires de croissance les plus rapides de l’histoire de la technologie et, en même temps, sans doute la réponse réglementaire la plus rapide. Idéalement, les régulateurs tireraient les leçons du « désordre des médias sociaux » et s’en tiendraient au cas des technologies émergentes avant que des dommages massifs n’en résultent, a-t-il déclaré.
Dans le même temps, les sociétés d’IA pionnières surveillent des affaires judiciaires très médiatisées comme celle visant Meta.
Cela ajoute un troisième niveau de contexte : la vitesse à laquelle ces entreprises sont poursuivies en justice suit également une trajectoire sans précédent. « Nous devrions donc également lire ce blog comme une trace écrite pour une défense de diligence raisonnable pour les régulateurs et les tribunaux », a noté Shipley.
