Le Threat Intelligence Group de Google rapporte que de nouvelles souches de logiciels malveillants utilisent les LLM en cours d’exécution pour générer, réécrire et masquer le code malveillant en temps réel.
Les acteurs malveillants déploient désormais activement des logiciels malveillants basés sur l’IA dans leurs opérations.
Google Threat Intelligence Group (GTIG) a identifié une utilisation cybercriminelle de l’IA « juste à temps » qui utilise des modèles de langage étendus (LLM) à la volée pour créer des scripts et des fonctions malveillants et pour obscurcir le code.
De plus, les enquêtes du GTIG ont révélé que les modèles sont tout aussi sensibles à l’ingénierie sociale que les humains. Ils peuvent, par exemple, être facilement trompés par des attaquants prétendant être des participants au programme « capture-the-flag » (CTF), des étudiants ou des chercheurs en cybersécurité.
« Cela marque une nouvelle phase opérationnelle des abus de l’IA, impliquant des outils qui modifient dynamiquement le comportement en cours d’exécution », écrivent les chercheurs.
Évolution de l’utilisation de l’IA dans les logiciels malveillants
GTIG a trouvé de nombreuses preuves de l’utilisation généralisée de l’IA dans les logiciels malveillants, bien que leur enquête suggère qu’elle n’est pas aussi répandue que le suggèrent d’autres affirmations qui ont depuis été rétractées. Ils ont également découvert qu’il était utilisé de manière nouvelle et très systématique.
Les logiciels malveillants récemment découverts PROMPTFLUX et PROMPTSTEAL, par exemple, utilisent des LLM « juste à temps » pour créer des scripts malveillants et obscurcir le code afin d’échapper à la détection. Cela peut « modifier dynamiquement le comportement du malware », notent les chercheurs.
PROMPTSTEAL est le premier malware exécutant des requêtes LLM observé en opération réelle, notamment utilisé par des acteurs soutenus par le gouvernement russe, selon GTIG. Le mineur de données utilise l’API Hugging Face pour générer des commandes plutôt que de les coder en dur dans le malware ; L’enquête du GTIG suggère que l’objectif des acteurs malveillants est de collecter des informations et des documents système et de les envoyer à leurs propres serveurs.
Le malware « se fait passer pour un programme de génération d’images », a déclaré GTIG, guidant les utilisateurs à travers une série d’invites pour créer des images, tandis qu’en arrière-plan, il utilise l’API Hugging Face pour interroger le modèle Qwen2.5-Coder-32B-Instruct afin de générer les commandes malveillantes, puis les exécute.
Même si les chercheurs du GTIG notent que cette méthode est encore expérimentale, elle indique une « étape significative vers des logiciels malveillants plus autonomes et adaptatifs ».
PROMPTFLUX, quant à lui, est un compte-gouttes qui utilise un installateur leurre pour cacher son activité ; il invite l’API Gemini à réécrire son code source, en enregistrant les nouvelles versions obscurcies dans le dossier de démarrage pour établir la persistance. Le malware peut également se copier sur des disques amovibles ou des lecteurs réseau mappés.
Il est intéressant de noter que le module « robot pensant » du malware interroge périodiquement Gemini pour obtenir un nouveau code lui permettant d’échapper aux logiciels antivirus, et une variante de module connue sous le nom de « Thinging » demande à l’API Gemini de réécrire l’intégralité du code source du malware toutes les heures pour éviter de nombreux outils de détection basés sur les signatures. L’objectif est de créer un « scénario métamorphique pouvant évoluer avec le temps », notent les chercheurs.
D’autres logiciels malveillants suivis incluent FRUITSHELL, un shell inversé qui établit une connexion à distance à un serveur de commande et de contrôle (C2) afin que les attaquants puissent émettre des commandes arbitraires sur un système compromis ; Le ransomware expérimental PROMPTLOCK écrit en Go qui utilise des LLM pour créer et exécuter des scripts malveillants et effectuer une reconnaissance, une exfiltration de données et un cryptage de fichiers sur les systèmes Windows et Linux ; et QUIETVAULT, qui vole les jetons GitHub et npm.
Les enquêteurs du GTIG mettent en garde : « Les attaquants vont au-delà du « codage dynamique » et de l’utilisation de base d’outils d’IA pour le support technique. Nous commençons seulement maintenant à voir ce type d’activité, mais nous nous attendons à ce qu’elle augmente. »
Ils notent que Google a pris des mesures contre les différents acteurs en désactivant leurs comptes et les actifs associés à leur activité, et en appliquant des mises à jour pour éviter de nouvelles utilisations abusives.
Utiliser l’ingénierie sociale contre les LLM
De plus, GTIG a constaté que les attaquants utilisent de plus en plus des « prétextes de type ingénierie sociale » dans leurs invites pour contourner les garanties LLM. Ils se sont notamment fait passer pour des participants à un concours de cybersécurité gamifié « capture-le-drapeau » (CTF), persuadant Gemini de renoncer à des informations qu’il refuserait autrement de révéler.
Par exemple, lors d’une interaction, un attaquant a tenté d’utiliser Gemini pour identifier les vulnérabilités d’un système compromis ; mais ils ont été bloqués par les garde-fous du modèle. Cependant, après avoir recadré l’invite et identifié comme un joueur du CTF développant des compétences en matière de phishing et d’exploitation, Gemini a accepté, donnant des conseils sur les prochaines étapes d’un scénario d’équipe rouge et fournissant des détails qui pourraient être utilisés pour attaquer le système.
Les chercheurs ont souligné l’importance de la nuance dans ces types d’invites CTF, qui seraient normalement inoffensives. « Cette nuance dans l’utilisation de l’IA met en évidence les différenciateurs critiques entre l’utilisation bénigne et abusive de l’IA que nous continuons d’analyser », notent-ils.
Ils ont également observé un acteur parrainé par l’État iranien qui a utilisé Gemini pour mener des recherches visant à créer des logiciels malveillants personnalisés, notamment des shells Web et un serveur C2 basé sur Python. Le groupe a réussi à contourner les barrières de sécurité en se faisant passer pour des étudiants travaillant sur un projet universitaire de fin d’études ou sur un document d’information sur la cybersécurité.
Les attaquants ont ensuite utilisé Gemini pour aider avec un script conçu pour écouter et décrypter les requêtes, ainsi que pour transférer des fichiers ou exécuter des tâches à distance. Cependant, cette technique a révélé à Gemini des « informations sensibles et codées en dur », y compris le domaine C2 et les clés de cryptage, ce qui a aidé les défenseurs à perturber la campagne, ont indiqué les chercheurs.
Les outils d’IA sont en vogue sur le marché de la cybercriminalité
Des enquêtes plus approfondies menées par l’équipe du GTIG ont révélé que le marché clandestin des outils d’IA illicites a « mûri ». Les outils d’achat sur le marché noir comprennent :
- Génération de logiciels malveillants : pour créer des logiciels malveillants pour des cas spécifiques ou améliorer les logiciels malveillants existants ;
- Deepfake et génération d’images : pour créer du « contenu leurre » ou contourner les exigences de connaissance de votre client (KYC) ;
- Kits et assistance contre le phishing : pour créer du « contenu leurre engageant » ou le distribuer à un public plus large ;
- Recherche et reconnaissance : pour rassembler et résumer rapidement des concepts ou des sujets généraux en matière de cybersécurité ;
- Exploitation des vulnérabilités : identifier les recherches accessibles au public sur les vulnérabilités préexistantes ;
- Support technique et génération de code.
Les chercheurs soulignent que les modèles de tarification de ces outils imitent de plus en plus ceux des outils conventionnels : les versions gratuites injectent des publicités et la tarification par abonnement introduit des fonctionnalités techniques plus avancées telles que la génération d’images ou l’accès à l’API et à Discord.
« Les outils et services proposés via des forums clandestins peuvent permettre à des acteurs de bas niveau d’augmenter la fréquence, la portée, l’efficacité et la complexité de leurs intrusions », écrivent les chercheurs du GTIG, « malgré leur sens technique et leurs ressources financières limitées ».
Et, ajoutent-ils, « compte tenu de l’accessibilité croissante de ces outils d’IA et du discours croissant sur l’IA dans ces forums, les activités de menace tirant parti de l’IA deviendront de plus en plus courantes parmi les acteurs de la menace. »
