Frontier découvre qu’un autre modèle d’IA a suivi OpenAI pour sortir du bac à sable.
Un autre modèle d’IA s’est échappé d’un laboratoire de tests de cybersécurité : il s’agit cette fois du modèle Kimi K3 de la société chinoise Moonshot, en fuite.
Frontier Security a découvert que Kimi K3 avait trouvé une faille dans l’environnement de test de l’AI Safety Institute du Royaume-Uni pour les modèles d’IA effectuant des tâches de cybersécurité. La nouvelle fait suite à des exploits similaires de la part de modèles d’OpenAI, qui ont attaqué Hugging Face, Anthropic et, plus récemment, Meta.
Frontier a révélé comment la faute s’est produite. Les modèles d’IA sont régulièrement testés pour examiner comment ils effectuent des tâches de cybersécurité offensives et défensives, généralement dans des environnements de test isolés ou des bacs à sable qui limitent considérablement leur accès à Internet. Frontier a signalé que le modèle Kimi K3 avait trouvé une faille dans le bac à sable dans lequel il était testé, lui permettant d’accéder au site Web github.com en direct et de cloner le référentiel officiel du problème de référence qu’il était censé résoudre, en lisant la solution directement sur le disque plutôt que de résoudre le problème par lui-même.
Frontier a averti les entreprises testant des modèles d’IA d’être conscientes des dangers que posent de telles failles et a proposé quelques lignes directrices.
Les entreprises devraient restreindre le trafic DNS et HTTPS sortant des modèles d’IA à une liste autorisée explicite et tester ces contrôles à partir du même environnement disponible pour le modèle, a déclaré Frontier. Ils doivent également vérifier les traces de toute activité suspecte et ne pas se fier uniquement aux réponses finales. Les entreprises doivent également considérer le score d’un modèle aux tests de référence comme significatif uniquement lorsque le modèle n’a pas accès aux implémentations de référence et à d’autres raccourcis.
Frontier a également conseillé aux testeurs de se méfier des taux de réussite étonnamment élevés, car ceux-ci pourraient révéler un défaut environnemental commun.
Peut-être le plus important : ils doivent partir du principe que les agents trouveront les pires chemins vers une solution, y compris en sondant les failles dans un environnement de test, et ne suivront pas toujours le chemin qu’ils sont censés suivre.
Comme l’écrit Frontier sur son blog : « Les modèles sont optimisés pour la fonction objectif (obtenir le bon indicateur/réponse), et non pour l’intention humaine derrière le benchmark. Si un chemin réseau vers la solution existe, un agent suffisamment compétent le trouvera. »
