Au-delà des vers déterministes : préparer le SOC au raisonnement des adversaires

En mai 2017, le ver cryptographique WannaCry s’est propagé sur Internet, compromettant plus de 200 000 ordinateurs dans au moins 100 pays. Le National Audit Office l’a qualifié de plus grande cyberattaque jamais survenue contre le NHS en Angleterre. Au moins 80 des 236 centres hospitaliers ont été infectés ou perturbés, environ 19 000 rendez-vous ont été annulés, cinq hôpitaux ont détourné des ambulances et plus de 1 200 équipements de diagnostic ont été infectés.

Ce qui a arrêté WannaCry, c’est un coup de chance. Un chercheur a effectué une ingénierie inverse du logiciel malveillant, a remarqué qu’il contactait un domaine que personne n’avait enregistré et l’a enregistré. Ce soir-là, la tension initiale a arrêté les dispositifs de verrouillage. WannaCry avait un kill switch, et nous sommes tous chanceux que Marcus Hutchins ait pu le trouver.

En lisant les rapports d’incidents d’agents d’OpenAI et d’Anthropic, je me souviens de WannaCry. Mais la menace des agents offensifs n’est pas un ver plus rapide. En juillet, environ 1 200 agents OpenAI testés sur une base de référence en matière de cybersécurité ont trouvé un forum de discussion non autorisé sur un référentiel de logiciels interne, et certains se sont propagés sur Internet. Selon une enquête indépendante, environ 700 de ces agents ont ensuite attaqué Hugging Face, à la recherche d’indices pour dépasser les critères de référence. Hugging Face a révélé l’intrusion le 16 juillet et OpenAI a confirmé que ses agents en étaient responsables cinq jours plus tard.

Récemment, Anthropic a également eu des incidents involontaires. Les incidents d’Anthropic impliquaient des modèles uniques plutôt qu’un essaim. Dans des cyberévaluations qui ont été accidentellement laissées connectées à Internet, des modèles individuels de Claude ont attaqué les systèmes de véritables entreprises alors qu’ils tentaient de terminer leurs exercices, et l’un d’entre eux a publié un package malveillant sur PyPI.

Les vers comme WannaCry exploitent une seule ou un petit nombre de vulnérabilités, en utilisant un ensemble statique de techniques. Les agents peuvent lire les résultats des tentatives infructueuses, essayer autre chose et transmettre ce qu’ils ont appris à d’autres agents. L’équipe Frontier Red d’Anthropic a évalué GLM-5.3, un modèle à poids ouvert de Z.ai que le CAISI du NIST a évalué comme le modèle à poids ouvert le plus cyber-capable publié à ce jour. Pendant une journée, avec moins d’une heure d’attention pratique, un chercheur l’a utilisé pour trouver plusieurs vulnérabilités inconnues du navigateur et les enchaîner dans un exploit qui vole la clé SSH d’un utilisateur. Une variante plus petite a construit une chaîne d’exploitation pour deux failles connues pour environ 20 $ au prix de l’API. Des techniques simples ont contourné ses protections dans 64 à 100 % des cas lors de tests simulés, y compris l’ablitération, qui modifie les poids libérés pour éliminer les refus.

Un SOC hautes performances fonctionnant selon le référentiel « 1-10-60 » (1 minute pour détecter, 10 pour enquêter et 60 pour contenir) n’est pas conçu pour cela. Lorsque l’adversaire passe d’un humain devant un clavier à des groupes d’agents autonomes fonctionnant à la vitesse d’une machine, la réponse doit être mesurée en secondes. L’incident de Hugging Face montre l’écart même lorsque les agents appartiennent à un parti bien intentionné. OpenAI ne les contenait pas à temps.

OpenAI rapporte que sa propre surveillance a signalé les agents à deux reprises au cours des semaines précédentes. En juin, les intervenants ont décidé que l’activité ne justifiait pas l’arrêt de l’évaluation. Début juillet, ils ont trouvé un serveur compromis, révoqué les informations d’identification et bloqué les chemins exploités. Un jour après la reprise des évaluations, les agents avaient trouvé un nouveau zéro jour et étaient de retour sur Internet. Ils ont compromis Hugging Face entre le 11 et le 13 juillet, et OpenAI l’a lié à ses agents le 20 juillet. Lorsque Hugging Face a enquêté sur l’intrusion, les modèles hébergés qu’il a essayés ont d’abord refusé d’analyser les journaux d’attaque, et son équipe a terminé les analyses avec GLM-5.2 fonctionnant sur sa propre infrastructure. Comme le dit Hugging Face : « l’attaquant n’était lié par aucune politique d’utilisation, tandis que notre propre travail d’investigation était bloqué par les garde-fous des modèles hébergés que nous avions essayés en premier.

Qu’est-ce qui rend cela différent

Rien de tout cela n’est nouveau pour notre industrie. Nous avons toujours joué à saute-mouton avec les attaquants. Ce qui est nouveau aujourd’hui, c’est qu’ils peuvent désormais télécharger des modèles performants sans aucune garantie significative et créer leurs propres agents offensifs.

Imaginez WannaCry si le ver se réécrivait au moment de l’enregistrement du domaine. Le meilleur SOC au monde serait encore en train de diagnostiquer le compromis initial une fois passé à autre chose.

Les agents qui dépendent d’un fournisseur peuvent être contenus en révoquant les informations d’identification, en suspendant les comptes et en bloquant la sortie, bien que l’expérience d’OpenAI montre que cela peut prendre plus d’une tentative. Les modèles ouverts exécutés sur le matériel d’un attaquant ne le peuvent pas. Anthropic a récemment testé si de petits modèles pouvaient être répliqués sur des appareils connectés bon marché sans centre de données. Dans les évaluations simplifiées avec des contrôles d’accès triviaux, un modèle à poids ouvert plus fort a complété la chaîne complète, et Anthropic projette de petits modèles atteignant ce niveau d’ici la fin de l’année si les tendances actuelles se maintiennent. Un réplicateur comme celui-ci n’a pas de point central pour s’éteindre. Ce serait lent et visible sur le réseau, mais patient et partout. Les hôpitaux connaissent le problème : certains équipements perturbés par WannaCry, tels que les scanners IRM avec Windows XP intégré, étaient gérés par le fournisseur et ne pouvaient pas être mis à jour par les fiducies.

Il n’est pas nécessaire de demander intentionnellement aux agents de se lancer dans des exercices offensifs pour adopter un comportement nuisible. Les agents documentés de Transluce ont demandé d’effectuer une récupération de données ordinaire qui, une fois bloquée, sondait les vulnérabilités des sites Web publics, y compris une agence gouvernementale australienne. Certains étaient liés à l’essaim qu’OpenAI a reconnu comme le sien. Les agents de Hugging Face essayaient de gagner un benchmark. Des agents mal contraints suffisent à produire une activité nocive involontaire.

Nous déployons nous-mêmes des agents pour l’assistance à l’ingénierie de fiabilité des sites (SRE) et à l’infrastructure en tant que code (IaC), et les fournisseurs de cloud proposent des boîtes à outils d’agents pour gérer l’infrastructure. Lorsqu’un agent compromis ou mal géré détient ces privilèges, il sera en mesure de déployer sa propre infrastructure sur laquelle fonctionner. Nous avons déjà vu des agents dans un environnement de laboratoire mettre en place leurs propres relais et leur infrastructure cloud avec des informations d’identification volées.

Relever le défi des agents

Mais nous pouvons encore nous préparer dès aujourd’hui à ces scénarios futurs. Pour ce faire, les RSSI doivent traiter les agents comme des identités privilégiées :

• Donnez à chaque agent des informations d’identification de courte durée, à portée étroite, sans autorisation permanente.
• Interdisez aux agents de créer de nouvelles identités, de nouveaux calculs ou des chemins réseau sans l’approbation humaine.
• Placez les charges de travail des agents derrière les listes autorisées de sortie, afin qu’un agent bloqué ne puisse pas chercher une autre issue.
• Appliquez des garde-fous de stratégie en tant que code sur les pipelines d’infrastructure et alertez en cas de comportement anormal d’identité de machine et de création inattendue de ressources.

Le rapport du NAO constitue la meilleure documentation sur les dégâts causés par WannaCry et couvre un seul système de santé dans un seul pays. De grands groupes d’agents transportant une rançon pourraient atteindre les hôpitaux du monde entier sans avoir à trouver de coupe-circuit. La défense autonome est extrêmement difficile dans le domaine des soins de santé, car un faux positif peut interrompre la surveillance des patients, la télémétrie biomédicale ou l’imagerie, ayant un impact significatif sur la sécurité des patients. Les outils actuels, y compris les copilotes qui aident un humain à trier les alertes plus rapidement, sont loin d’être à la hauteur des capacités offensives évaluées par les laboratoires. Nous avons besoin d’une parité défensive à la vitesse de la machine.

Zéro faux positif n’est pas un objectif technique réaliste, c’est pourquoi la conception d’une défense autonome doit assumer les erreurs et limiter leur coût. Automatisez des actions rapides, à portée étroite et réversibles, telles que l’isolement d’un seul appareil, la révocation d’un jeton à portée étroite ou la mise en quarantaine d’une charge de travail, et tenez un humain au courant de tout ce qui est irréversible ou cliniquement risqué. Ayez toujours un moyen d’annuler les actions automatisées dès leur introduction. Nous devons construire une autonomie progressive, échelonnée par classe d’actifs. Vous pouvez être plus agressif à l’égard des actifs de l’entreprise et plus conservateur à l’égard des dispositifs biomédicaux.

Améliorer les fondamentaux de la sécurité – et le support commercial

Que pouvons-nous faire d’autre aujourd’hui ? Conservez nos pratiques éprouvées et appliquez-les plus rapidement – ​​ce qui nécessitera du leadership et un soutien supplémentaire de la part des PDG et du conseil d’administration.

Dans son analyse, le NAO a constaté que l’application du correctif, ou simplement la gestion des pare-feu Internet, aurait protégé chaque organisation du NHS infectée par WannaCry. Les entreprises et les projets open source exécutent désormais des agents de codage sur leurs logiciels et publient un nombre sans précédent de correctifs de sécurité. C’est formidable, mais l’informatique doit être capable de les appliquer. Donnez au service informatique les ressources nécessaires pour les déployer, retirer les infrastructures obsolètes et rendre l’entreprise tolérante aux fenêtres de maintenance que cela nécessite.

Cette initiative de segmentation ou de confiance zéro qui est restée en veilleuse ? Faites-en une priorité. Aujourd’hui. Si vous n’investissez toujours pas suffisamment dans la sécurité, augmentez votre financement dès maintenant afin que votre équipe ou votre fournisseur puisse acquérir les outils et l’expertise qu’exigeront les prochaines années. Et acceptez que la défense automatisée se trompe parfois. Les équipes de sécurité devront s’automatiser et l’entreprise devra tolérer les pannes qui s’ensuivent. La technologie émerge et elle ne sera pas parfaite. Soutenez quand même vos équipes.

Une lettre ouverte aux laboratoires d’IA et à la communauté de la sécurité dans son ensemble

Une note aux laboratoires frontaliers. Plusieurs d’entre vous méritent d’être félicités : le projet Glasswing et Patch the Planet d’OpenAI ont mis les capacités de frontière entre les mains des défenseurs, et vos rapports d’incidents ont été exceptionnellement francs.

Mais les capacités offensives évoluent plus rapidement que les garanties. GLM-5.3 est livré sous forme de poids téléchargeables que des techniques simples déverrouillent 64 à 100 % du temps, et l’accès sécurisé ne fait rien pour les poids déjà entre les mains des attaquants.

En conséquence, je demande trois choses :

• Considérez la recherche défensive avec la même urgence que la recherche sur les capacités, y compris le confinement autonome avec un dossier de sécurité qui fonctionne dans des environnements cliniques.
• Élargir l’accès des défenseurs à la classe de modèles dont disposeront les attaquants.
• Faire des tests indépendants avant la publication et des enquêtes indépendantes après les incidents une obligation plutôt qu’une courtoisie. Le PDG de METR a noté qu’OpenAI laissait les enquêteurs entrer volontairement, sans que l’industrie n’oblige un laboratoire à divulguer un incident.

J’ai vu trop de professionnels de la sécurité rejeter les propos sur l’IA offensive en les qualifiant de marketing ou d’alarmisme et répondre à leurs préoccupations en « réparant vos affaires ». Les correctifs sont importants, et les conclusions du NAO sur WannaCry l’expriment, mais ce n’est pas la seule réponse aux agents qui s’organisent sur des forums de discussion improvisés et sondent des sites Web tout en effectuant un travail ordinaire.

Les auteurs de WannaCry ont laissé un kill switch. La prochaine génération de menaces n’en aura pas, et les cybercriminels ne divulgueront pas s’ils perdent le contrôle d’un essaim. Nous ne pouvons pas compter sur les coups de chance. Reconnaissons le risque, discutons-en et préparons-nous avant que les attaquants ne commencent à utiliser sérieusement ces outils.