Piratage autonome de l’IA et avenir de la cybersécurité

Les agents IA piratent désormais les ordinateurs. Ils s’améliorent à toutes les phases des cyberattaques, plus rapidement que la plupart d’entre nous ne le prévoyaient. Ils peuvent enchaîner différents aspects d’une cyberopération et pirater de manière autonome, à la vitesse et à l’échelle d’un ordinateur. Cela va tout changer.

Au cours de l’été, les pirates ont prouvé le concept, l’industrie l’a institutionnalisé et les criminels l’ont opérationnalisé. En juin, la société d’IA XBOW a pris la première place du classement américain de HackerOne après avoir soumis plus de 1 000 nouvelles vulnérabilités en quelques mois seulement. En août, les sept équipes participant au AI Cyber ​​Challenge de la DARPA ont découvert collectivement 54 nouvelles vulnérabilités dans un système cible, en quatre heures (de calcul). En août également, Google a annoncé que son Big Sleep AI avait découvert des dizaines de nouvelles vulnérabilités dans des projets open source.

C’est encore pire. En juillet, le CERT ukrainien a découvert un logiciel malveillant russe qui utilisait un LLM pour automatiser le processus de cyberattaque, générant à la fois des commandes de reconnaissance du système et de vol de données en temps réel. En août, Anthropic a signalé avoir dérangé un acteur menaçant qui utilisait Claude, le modèle d’IA d’Anthropic, pour automatiser l’ensemble du processus de cyberattaque. Il s’agissait d’une utilisation impressionnante de l’IA, qui effectuait une reconnaissance du réseau, pénétrait les réseaux et récoltait les informations d’identification des victimes. L’IA a pu déterminer quelles données voler, combien d’argent extorquer aux victimes et comment rédiger au mieux des e-mails d’extorsion.

Un autre pirate informatique a utilisé Claude pour créer et commercialiser son propre ransomware, doté de « capacités avancées d’évasion, de cryptage et de mécanismes anti-récupération ». Et en septembre, Checkpoint a signalé que des pirates informatiques utilisaient HexStrike-AI pour créer des agents autonomes capables d’analyser, d’exploiter et de persister à l’intérieur des réseaux cibles. En septembre également, une équipe de recherche a montré comment reproduire rapidement et facilement des centaines de vulnérabilités à partir d’informations publiques. Ces outils sont de plus en plus gratuits et accessibles à tous. Villager, un outil de test d’IA récemment publié par la société chinoise Cyberspike, utilise le modèle Deepseek pour automatiser complètement les chaînes d’attaque.

Tout cela va bien au-delà des capacités de l’IA en 2016, lors du Cyber ​​Grand Challenge de la DARPA. Le défi annuel chinois de piratage de l’IA, Robot Hacking Games, est peut-être de ce niveau, mais on sait peu de choses en dehors de la Chine.

Point de bascule à l’horizon

Les agents d’IA rivalisent désormais, et parfois dépassent même les hackers humains d’élite en termes de sophistication. Ils automatisent les opérations à la vitesse de la machine et à l’échelle mondiale. L’étendue de leurs capacités permet à ces agents d’IA d’automatiser complètement les commandes d’un criminel afin de maximiser les profits, ou de structurer des attaques avancées selon les spécifications précises d’un gouvernement, par exemple pour éviter d’être détectées.

Dans cet avenir, les capacités d’attaque pourraient s’accélérer au-delà de notre capacité individuelle et collective à y faire face. Nous avons longtemps tenu pour acquis que nous avions le temps de corriger les systèmes une fois que les vulnérabilités étaient connues, ou que le fait de ne pas divulguer les détails des vulnérabilités empêchait les attaquants de les exploiter. Ce n’est plus le cas.

L’équilibre cyberattaque/cyberdéfense penche depuis longtemps en faveur des attaquants ; ces évolutions menacent de faire pencher complètement la balance. Nous envisageons potentiellement un événement de singularité pour les cyber-attaquants. Les éléments clés de la chaîne d’attaque sont de plus en plus automatisés et intégrés : persistance, obscurcissement, commande et contrôle et évasion des points finaux. Les recherches sur les vulnérabilités pourraient potentiellement être menées pendant les opérations plutôt que des mois à l’avance.

Les plus qualifiés conserveront probablement un avantage pour le moment. Mais les agents d’IA n’ont pas besoin d’être meilleurs dans une tâche humaine pour être utiles. Il leur suffit d’exceller dans l’une des quatre dimensions suivantes : rapidité, échelle, portée ou sophistication. Mais tout indique qu’ils finiront par exceller dans ces quatre domaines. En réduisant les compétences, les coûts et le temps requis pour trouver et exploiter les failles, l’IA peut transformer une expertise rare en capacités de base et donner aux criminels moyens un avantage considérable.

L’évolution de la cyberdéfense assistée par l’IA

Les technologies d’IA peuvent également profiter aux défenseurs. Nous ne savons pas comment les différentes technologies de cyberattaque et de cyberdéfense pourront être améliorées par l’IA, mais nous pouvons extrapoler une éventuelle série de développements qui se chevauchent.

Première phrase : la transformation du chercheur en vulnérabilité. Le piratage basé sur l’IA profite aussi bien aux défenseurs qu’aux attaquants. Dans ce scénario, l’IA permet aux défenseurs d’en faire plus. Il simplifie les capacités, offrant à un plus grand nombre de personnes la possibilité d’effectuer des tâches auparavant complexes, et permet aux chercheurs auparavant occupés par ces tâches d’accélérer ou d’aller au-delà, libérant ainsi du temps pour travailler sur des problèmes qui nécessitent la créativité humaine. L’histoire suggère un modèle. L’ingénierie inverse était un processus manuel laborieux jusqu’à ce que des outils tels que IDA Pro rendent cette fonctionnalité accessible au plus grand nombre. La découverte des vulnérabilités de l’IA pourrait suivre une trajectoire similaire, évoluant via des interfaces scriptables, des flux de travail automatisés et des recherches automatisées avant d’atteindre une large accessibilité.

Phase deux : l’émergence de VulnOps. Entre avancées de la recherche et adoption par les entreprises, une nouvelle discipline pourrait émerger : VulnOps. De grandes équipes de recherche construisent déjà des pipelines opérationnels autour de leurs outils. Leur évolution pourrait refléter la manière dont DevOps a professionnalisé la fourniture de logiciels. Dans ce scénario, les outils de recherche spécialisés deviennent des produits de développement. Ces produits peuvent émerger sous la forme d’une plate-forme SaaS, d’un cadre opérationnel interne ou de quelque chose de complètement différent. Considérez-le comme une recherche de vulnérabilité assistée par l’IA accessible à tous, à grande échelle, reproductible et intégrée aux opérations de l’entreprise.

Troisième phase : la perturbation du modèle logiciel d’entreprise. Si les entreprises adoptent la sécurité basée sur l’IA de la même manière qu’elles ont adopté l’intégration continue/livraison continue (CI/CD), plusieurs voies s’ouvrent. La découverte des vulnérabilités de l’IA pourrait devenir une étape intégrée dans les pipelines de livraison. Nous pouvons imaginer un monde dans lequel la découverte des vulnérabilités de l’IA deviendra partie intégrante du processus de développement logiciel, où les vulnérabilités seront automatiquement corrigées avant même d’atteindre la production – une évolution que nous pourrions appeler découverte continue/réparation continue (CD/CR). La gestion des risques liés aux tiers (TPRM) offre une voie d’adoption naturelle, des tests de fournisseurs à moindre risque, une intégration dans les étapes d’approvisionnement et de certification, ainsi qu’un terrain d’essai avant un déploiement plus large.

Phase quatre : Le réseau d’auto-guérison. Si les organisations peuvent découvrir et corriger de manière indépendante les vulnérabilités des logiciels en cours d’exécution, elles n’auront pas à attendre que les fournisseurs publient des correctifs. La constitution d’équipes de recherche internes est coûteuse, mais les agents d’IA pourraient effectuer de telles découvertes et générer des correctifs pour de nombreux types de code, y compris les produits tiers et fournisseurs. Les organisations peuvent développer des capacités indépendantes qui créent et déploient des correctifs tiers selon les délais des fournisseurs, prolongeant ainsi la tendance actuelle des correctifs open source indépendants. Cela augmenterait la sécurité, mais le fait que les clients corrigent des logiciels sans l’approbation du fournisseur soulève des questions sur l’exactitude des correctifs, la compatibilité, la responsabilité, le droit de réparation et les relations à long terme avec les fournisseurs.

Ce ne sont que des spéculations. Peut-être que les cyberattaques renforcées par l’IA n’évolueront pas comme nous le craignons. Peut-être que la cyberdéfense renforcée par l’IA nous offrira des capacités que nous ne pouvons pas encore anticiper. Ce qui nous surprendra le plus, ce ne sont peut-être pas les chemins que nous pouvons voir, mais ceux que nous ne pouvons pas encore imaginer.