La troisième divulgation en quelques semaines soulève de nouvelles inquiétudes quant à la façon dont les modèles d’IA de pointe sont contenus lors des cyber-évaluations.
Meta est devenu le troisième développeur d’IA de pointe ces dernières semaines à divulguer un incident de sécurité impliquant l’un de ses modèles d’IA avancés lors de tests de cybercapacités menés par la startup de sécurité de l’IA, Irregular, plaçant l’évaluateur indépendant au centre d’une série de divulgations impliquant les principaux laboratoires d’IA du secteur.
Lors d’un test de « capture du drapeau » réalisé par Irregular, Muse Spark 1.1 de Meta a compromis le système d’une autre entreprise et exploité une faille de sécurité, a rapporté Reuters. Le modèle a obtenu un accès involontaire en raison d’un problème de configuration dans l’environnement de test. Citant Meta, le rapport ajoute que l’incident a été contenu, n’a causé aucun préjudice durable et a été divulgué dans le cadre de ses efforts de transparence.
Cette divulgation intervient quelques jours après des incidents similaires signalés par OpenAI et Anthropic, qui se sont tous produits lors d’évaluations menées par Irregular.
OpenAI a appelé Irregular, son partenaire externe de test de cybersécurité, pour une mauvaise configuration de l’environnement de test qui a permis à ses modèles d’accéder à l’Internet public. Anthropic a également déclaré que ses agents étaient devenus voyous en raison d’une mauvaise configuration des tests par Irregular, mais a déclaré que l’incident avait eu lieu en raison d’un malentendu entre les deux sociétés.
Irregular n’a pas immédiatement répondu à une demande de commentaires.
Irregular apparaît comme un acteur clé des tests d’IA de pointe
Bien que les incidents aient impliqué différents modèles et différentes pannes techniques, ils ont apporté une visibilité inhabituelle à Irregular, une société indépendante de sécurité de l’IA qui évalue les systèmes d’IA avancés pour les principaux développeurs de modèles.
Les divulgations mettent également en évidence le rôle croissant des évaluateurs tiers spécialisés, alors que les développeurs d’IA de pointe s’appuient de plus en plus sur des organisations indépendantes pour évaluer les cybercapacités et la sécurité de leurs modèles les plus avancés avant leur déploiement.
« Les incidents récents représentent différents modes de défaillance », a déclaré Sakshi Grover, directeur de recherche senior pour IDC Asia/Pacific Cybersecurity Services.
Elle a déclaré que l’incident d’OpenAI impliquait un modèle exploitant une vulnérabilité jusqu’alors inconnue après avoir dépassé son environnement d’évaluation prévu, tandis que les incidents d’Anthropic impliquaient principalement des problèmes de configuration qui accordaient par inadvertance un accès à Internet. Une évaluation distincte réalisée par l’AI Safety Institute du Royaume-Uni était encore différente, car l’accès à Internet avait été délibérément activé pour évaluer les cybercapacités avant que les agents d’IA n’interagissent avec de véritables systèmes et individus externes.
« Le problème commun est que les environnements d’évaluation ne peuvent plus être traités comme une infrastructure de test passive », a déclaré Grover. « Un cyber-agent compétent doit être traité comme une identité de machine potentiellement hostile, même lorsqu’il opère dans le cadre d’un objectif de recherche légitime. »
Grover a également averti que si un modèle accède à des solutions de référence, à une infrastructure d’évaluateur ou à des artefacts de référence, cela pourrait compromettre non seulement le confinement, mais également l’intégrité de l’évaluation des capacités elle-même.
Les appels se multiplient en faveur de normes d’évaluation communes
Ces révélations ont incité les experts en sécurité à réclamer des garanties plus strictes régissant la manière dont les évaluations d’IA de pointe sont conçues et surveillées, qu’elles soient menées par des développeurs de modèles ou par des sociétés de tests indépendantes.
« Il existe de solides arguments en faveur de normes minimales communes couvrant les développeurs de modèles et les évaluateurs indépendants », a déclaré Grover. Elle a recommandé de refuser l’accès à Internet par défaut, des identités éphémères dédiées aux agents IA, un accès réseau contrôlé, une surveillance complète des invites, des appels d’outils, des informations d’identification et de l’activité réseau, ainsi que des conditions d’arrêt automatisées lorsque les agents atteignent des systèmes non autorisés ou effectuent des actions visibles de l’extérieur.
Vibhum Dubey, chercheur en cybersécurité et membre de l’équipe rouge, a déclaré que les méthodes d’évaluation actuelles ne suivent pas le rythme des capacités avancées de l’IA.
« Les laboratoires d’IA construisent des modèles capables d’anticiper plusieurs étapes, mais de nombreux environnements d’évaluation supposent toujours que l’agent restera dans le scénario prévu », a déclaré Dubey. « C’est un décalage. Une évaluation doit être jugée sur la façon dont l’environnement résiste à un comportement inattendu, et pas seulement sur la question de savoir si le modèle accomplit sa tâche. »
« Ces incidents suggèrent que nous évaluons le renseignement plus rapidement que le confinement. »
Bien qu’Irregular soit au centre de ces incidents, OpenAI et Anthropic ont l’intention de continuer à travailler avec la société de tests.
« Nous apprécions le partenariat d’Irregular et nous continuerons à travailler en étroite collaboration avec eux pour soutenir leur examen. Irregular développe également un livre blanc pour partager les meilleures pratiques en matière de confinement et d’exécution sécurisée des cyber-évaluations », a déclaré OpenAI dans un communiqué.
« Nous leur sommes reconnaissants d’avoir travaillé en étroite collaboration avec nous pour comprendre et résoudre ces incidents ; ils mènent également leur propre enquête. Nous attendons avec impatience notre travail commun en matière de sécurité », a déclaré Anthropic dans son communiqué du 30 juillet.
Dubey a déclaré que les laboratoires d’évaluation devraient adopter une approche « ne rien faire confiance, tout vérifier » dans laquelle chaque connexion sortante, identité et interaction externe nécessite une autorisation explicite, tout en publiant des mesures de confinement parallèlement à des références de capacités.
Apeksha Kaushik, analyste principal senior chez Gartner, a déclaré que le sandboxing traditionnel et le confinement statique deviennent inadéquats à mesure que les systèmes d’IA deviennent plus agents et a appelé à des normes à l’échelle de l’industrie couvrant la conception de l’environnement d’évaluation, le reporting des incidents et l’équipe rouge continue.
Implications pour les entreprises
Les analystes ont déclaré que ces révélations sont riches d’enseignements pour les entreprises qui se préparent à déployer des agents d’IA.
« La plus grande erreur serait de traiter les agents d’IA comme des fonctionnalités plutôt que comme des identités opérationnelles », a déclaré Dubey. « Chaque agent que vous déployez devient une autre entité prenant des décisions de sécurité en votre nom. » Les organisations doivent s’assurer qu’elles peuvent détecter et arrêter rapidement un agent autonome avant de le déployer en production, a-t-il déclaré.
Grover a déclaré que les organisations devraient appliquer les limites de sécurité via des contrôles d’infrastructure, d’identité et d’accès aux outils plutôt que par des invites uniquement, maintenir l’approbation humaine pour les actions irréversibles et surveiller le comportement observable des agents.
« Ces incidents ne doivent pas être réduits ni à des modèles qui deviennent ‘voyous’, ni à une simple mauvaise configuration du réseau », a-t-elle déclaré. « Ils montrent que des agents compétents peuvent transformer les faiblesses des contrôles ordinaires, les tâches ambiguës et les autorisations excessives en conséquences concrètes. » Meta et Irregular n’ont pas immédiatement répondu à une demande de commentaire.
