Une attaque contre Hugging Face exécutée par un modèle OpenAI en bac à sable montre que les garde-fous rapides ne peuvent pas servir de principale frontière de sécurité pour les agents d’IA, ce qui exerce davantage de pression sur les entreprises pour les contenir via des contrôles d’infrastructure qui limitent l’accès et empêchent les mouvements latéraux.
Certains des modèles d’IA les plus puissants d’OpenAI se sont associés pour échapper à leur bac à sable et à leurs systèmes d’attaque chez Hugging Face lors d’une évaluation de cybersécurité qui a mal tourné, a admis la société. Les modèles testés ont été modifiés pour leur permettre d’effectuer des actions potentiellement nuisibles que les versions de production refuseraient. L’incident montre comment, si les garde-fous d’invite de l’IA échouent ou, comme dans cet incident, sont supprimés, les entreprises doivent alors mettre en place un sandboxing robuste ou d’autres restrictions techniques pour protéger les systèmes.
Dans l’évaluation d’OpenAI, GPT-5.6 Sol et un modèle préliminaire plus performant étaient en compétition pour résoudre les défis de cybersécurité dans ExploitGym, un outil d’analyse comparative des capacités de cybersécurité. Ils ont conclu que les systèmes de Hugging Face pouvaient avoir les réponses et ont entrepris d’y accéder, a écrit OpenAI dans un article de blog sur l’attaque contre Hugging Face.
ExploitGym défie les modèles d’IA pour transformer les vulnérabilités de sécurité en exploits d’attaque. OpenAI a donné à ses modèles un accès limité à Internet via un proxy de registre de packages pour télécharger le code permettant de créer leurs attaques. Cependant, les modèles ont exploité une vulnérabilité Zero Day dans le proxy pour obtenir un accès Internet illimité, puis ont utilisé des informations d’identification volées et d’autres failles pour accéder aux systèmes Hugging Face.
Pour les DSI et RSSI, la préoccupation s’étend au-delà de la recherche sur la cybersécurité. Les agents d’IA connectés aux bases de données d’entreprise, aux référentiels de code source ou aux systèmes de paiement pourraient exposer des ressources sensibles à moins que les contrôles d’accès et le sandboxing continuent de fonctionner lorsque les protections au niveau du modèle échouent.
« Les garde-corps rapides ne sont pas des contrôles de sécurité », a déclaré Biswajeet Mahapatra, analyste principal chez Forrester. « Il s’agit de contrôles comportementaux qui peuvent échouer, être contournés ou intentionnellement désactivés pendant les tests. »
Comment le confinement a échoué
Malgré les garanties assouplies du modèle, l’infrastructure environnante était censée contenir l’activité. L’accès au réseau était limité à un service tiers hébergé en interne qui faisait office de proxy et de cache pour les registres de progiciels. De tels proxys sont généralement utilisés dans l’entreprise pour se protéger contre les attaques de la chaîne d’approvisionnement logicielle venant de l’extérieur.
OpenAI a déclaré que les modèles ont découvert une vulnérabilité zero-day dans le service, l’ont exploitée et ont effectué une élévation de privilèges et un mouvement latéral jusqu’à ce qu’ils atteignent un nœud avec un accès Internet ouvert.
Une fois en ligne, les modèles ont déduit que Hugging Face pourrait contenir des modèles, des ensembles de données ou des solutions liés à ExploitGym. OpenAI a déclaré que, dans une voie d’attaque, les modèles combinaient des informations d’identification volées avec des vulnérabilités du jour zéro pour obtenir l’exécution de code à distance sur les serveurs Hugging Face.
Dans son compte rendu de l’activité sur son infrastructure, Hugging Face a déclaré qu’un ensemble de données malveillants avait abusé de deux chemins d’exécution de code dans son pipeline de traitement de données. L’acteur a ensuite obtenu un accès au niveau du nœud, collecté les informations d’identification du cloud et du cluster et s’est déplacé vers plusieurs clusters internes.
OpenAI a déclaré que les modèles ont finalement obtenu les solutions de test ExploitGym directement à partir d’une base de données de production Hugging Face. Les modèles sont restés concentrés sur la résolution du critère de référence, malgré les efforts déployés pour atteindre cet objectif, indique-t-il.
Sanchit Vir Gogia, analyste en chef chez Greyhound Research, a déclaré que le proxy de registre de packages devrait concerner les équipes de sécurité de l’entreprise car il s’agit d’une exception étroitement autorisée dans un environnement par ailleurs restreint.
« Chaque domaine d’entreprise est construit à partir d’exceptions exactement de ce genre », a-t-il déclaré.
Lors de cet incident, les modèles d’OpenAI ont fonctionné comme prévu – bien que par des moyens involontaires – mais les entreprises doivent veiller à ce que leurs propres systèmes d’IA restent sur la cible.
Mahapatra a déclaré que les entreprises devraient traiter les agents d’IA comme des « identités non humaines à haut risque », confinant chacun d’entre eux dans un environnement isolé où l’accès est limité à la tâche assignée et où les informations d’identification expirent rapidement.
« Un rayon d’action acceptable signifie qu’un agent compromis ne peut affecter qu’un seul flux de travail, ensemble de données ou application plutôt que de fournir une voie vers une infrastructure d’entreprise plus large », a déclaré Mahapatra.
Et Gogia a averti que les services autorisés à accéder aux registres de packages, aux systèmes de mise à jour ou à d’autres ressources externes peuvent devenir des voies de fuite s’ils ne sont pas soumis au même examen que l’agent lui-même.
Les entreprises de défense ont besoin
Hugging Face a déclaré que l’intrusion avait entraîné un accès non autorisé à un nombre limité d’ensembles de données internes et à plusieurs informations d’identification utilisées par ses services. Il n’a trouvé aucune preuve que les modèles, ensembles de données ou espaces publics avaient été modifiés et a déclaré que ses progiciels publiés et les images de conteneurs n’étaient pas compromis.
L’entreprise a fermé les chemins d’exécution de code utilisés pour accéder et reconstruit les nœuds concernés. Il a également révoqué les informations d’identification exposées et renforcé les règles régissant les charges de travail admises dans ses clusters.
Qu’elles conservent leurs propres IA ou qu’elles éloignent les Ai malveillants, Gogia a déclaré que les entreprises devraient tester si leurs limites de confinement fonctionnent, plutôt que de s’appuyer sur des diagrammes d’architecture ou des politiques déclarées. De tels tests doivent tenter d’obtenir des informations d’identification, de franchir les limites de confiance et d’atteindre des systèmes en dehors de la tâche assignée à l’agent.
Mahapatra a déclaré que les entreprises devraient supposer qu’une couche de confinement peut échouer et s’assurer que l’accès d’un agent ne peut pas fournir une route vers des applications non liées ou une infrastructure d’entreprise plus large.
OpenAI a déclaré qu’elle enquêtait toujours sur l’incident avec Hugging Face et imposait des configurations plus strictes à son environnement de recherche pendant que les vulnérabilités étaient corrigées, même si cela signifiait ralentir ses recherches. Il s’agit également de renforcer le confinement et le suivi des futures évaluations.
