Les acteurs de menace utilisant Google Gemini pour amplifier les attaques: Rapport

Les acteurs de la menace soutenus par le gouvernement utilisent actuellement le service GEMINI de Google pour étendre leurs capacités, faisant partie des efforts de pirates de tous niveaux de compétence pour tirer parti des modèles de renseignement artificiel génératif (Genai) de la criminalité et de l’espionnage,

C’est la conclusion d’un rapport publié aujourd’hui par le groupe de renseignements sur les menaces de Google, qui montre comment les acteurs de la menace utilisent l’IA et les appels sur les gouvernements et le secteur privé à travailler ensemble pour réduire les risques d’abus.

L’un des objectifs du rapport est de montrer aux dirigeants de l’INFOSEC que la menace d’abus de l’IA est actuelle et non théorique.

« Bien que l’IA générative puisse être utilisée par les acteurs de la menace pour accélérer et amplifier les attaques, ils n’ont pas encore été en mesure d’utiliser l’IA pour développer de nouvelles capacités », a écrit Kent Walker, président des affaires mondiales chez Google, le parent, Alphabet, dans un blog accompagnant le rapport.

« En d’autres termes, les défenseurs sont toujours en avance – pour l’instant. »

Comment les Gémeaux sont utilisés par les acteurs de la menace

Pour illustrer la menace globale pour tous les services Genai, le rapport donne des exemples de la façon dont les attaquants abusent des Gémeaux:

• Les acteurs iraniens avancés de menace persistante (APT) sont les utilisateurs les plus lourds des Gémeaux, l’utilisant à un large éventail de fins, y compris la recherche sur les organisations de défense, la recherche sur la vulnérabilité et la création de contenu pour les campagnes. APT42 s’est concentré sur la création de campagnes de phishing, la réalisation de reconnaissance sur les experts et les organisations de la défense et la génération de contenu avec des thèmes de cybersécurité;
• Les acteurs de l’APT chinois utilisent des Gémeaux pour effectuer la reconnaissance, pour les scripts et le développement, pour dépanner le code et rechercher comment obtenir un accès plus profond aux réseaux cibles. Ils se sont concentrés sur des sujets tels que le mouvement latéral, l’escalade des privilèges, l’exfiltration des données et l’évasion de détection;
• Les acteurs de l’APT nord-coréen utilisent des Gémeaux pour soutenir plusieurs phases du cycle de vie des attaques, notamment la recherche sur les infrastructures potentielles et les fournisseurs d’hébergement gratuits, la reconnaissance sur les organisations cibles, le développement de la charge utile et l’aide aux techniques de scripts et d’évasion malveillants. Ils ont également utilisé des Gémeaux pour rechercher des sujets d’intérêt stratégique pour le gouvernement nord-coréen, comme l’armée sud-coréenne et la crypto-monnaie;
• Les acteurs nord-coréens ont également utilisé les Gémeaux pour rédiger des lettres de motivation et des emplois de recherche, des activités qui soutiendraient probablement les efforts de la Corée du Nord pour placer les travailleurs informatiques clandestins des entreprises occidentales;
• Par rapport à d’autres pays, les acteurs de l’APT russe n’ont montré une utilisation limitée des Gémeaux pendant la période d’analyse. Leur utilisation des Gémeaux s’est concentrée sur les tâches de codage, notamment la conversion des logiciels malveillants accessibles au public en un autre langage de codage et l’ajout de fonctions de chiffrement au code existant.

Le rapport donne également des exemples d’un acteur de menace apte anonyme essayant sans succès de contourner les protocoles de sécurité des Gémeaux visant à empêcher les abus. La plupart des systèmes Genai ont de tels protocoles, donc ces exemples sont un avertissement aux fabricants de modèles d’IA de la détermination de certains acteurs de la menace pour essayer de maximiser ce qu’ils peuvent sortir d’un service d’IA disponible publiquement.

Par exemple, note le rapport, un acteur de menace a copié les invites au public dans les Gémeaux et les instructions de base annexées pour effectuer des tâches de codage. Ces tâches comprenaient le codage du texte à partir d’un fichier et l’écrivant à un exécutable, et l’écriture de code Python pour un outil de déni de service distribué (DDOS). Gemini a fourni du code Python pour convertir Base64 en HEX, mais a fourni une réponse filtrée de sécurité lorsque l’utilisateur a entré une invite de suivi qui a demandé le même code qu’un VBScript.

Le même groupe a utilisé une invite de jailbreak accessible au public différente pour demander le code Python pour un DDOS. Gemini a fourni une réponse filtrée sur la sécurité indiquant qu’elle ne pouvait pas aider, et l’acteur de menace a abandonné la session et n’a pas tenté d’interaction supplémentaire.

De plus, ce que le rapport appelle les acteurs de l’opération d’information, qui peuvent inclure des acteurs de l’État-nation, utilisent des Gémeaux pour créer du contenu trompeur, manipuler le contenu et optimiser la désinformation et la désinformation, ainsi que pour la recherche et la traduction.

«Les acteurs de la menace expérimentent avec les Gémeaux pour permettre leurs opérations, en trouvant des gains de productivité mais pas encore en développement de nouvelles capacités», indique le rapport. «À l’heure actuelle, ils utilisent principalement l’IA pour la recherche, le dépannage du code et la création et la localisation du contenu.»

Recommandations pour les CISO

Interrogé sur ce que les CISO devraient faire dans le sillage du rapport, Google a déclaré que les organisations devraient consulter le cadre d’IA sécurisé de Google (SAIF), qui est un cadre conceptuel pour les systèmes d’IA sécurisés.

Plutôt que de permettre un changement perturbateur, l’IA générative permet aux acteurs de la menace de se déplacer plus rapidement et à un volume plus élevé, conclut le rapport Google. «Pour les acteurs qualifiés, les outils génératifs de l’IA fournissent un cadre utile, similaire à l’utilisation de métasploit ou de grève de cobalt dans l’activité de cyber-menace. Pour les acteurs moins qualifiés, ils fournissent également un outil d’apprentissage et de productivité, leur permettant de développer plus rapidement des outils et d’intégrer des techniques existantes », dit-il. «Cependant, il est peu probable que les LLM actuels (grands modèles de langue) permettent des capacités de percée pour les acteurs de menace. Nous notons que le paysage d’IA est en constante évolution, avec de nouveaux modèles d’IA et des systèmes agentiques émergeant quotidiennement. Au fur et à mesure que cette évolution se déroule, GTIG prévoit que le paysage des menaces évolue dans la foulée alors que les acteurs de la menace adoptent de nouvelles technologies d’IA dans leurs opérations. »

En bref, le rapport indique que l’IA peut être un outil utile pour les acteurs de la menace, mais ce n’est pas encore le changeur de jeu qu’il est parfois décrit.

Dans son blog, le cadre de l’alphabet Kent Walker a spécifié des actions que les États-Unis devraient prendre pour se protéger de l’abus de l’IA. Une recommandation consiste à s’assurer que le gouvernement et le secteur privé dépensent des centaines de milliards de dollars pour maintenir la tête des États-Unis dans les puces d’IA. D’autres recommandations comprennent la rationalisation des achats pour permettre l’adoption du gouvernement de l’IA et d’autres technologies révolutionnaires et accroître la collaboration privée-public sur la cyber-défense.

Interrogé par e-mail quel conseil Google a pour d’autres gouvernements, le groupe de renseignement des menaces a répondu que la plupart des recommandations s’appliquent à un gouvernement: premièrement, les gouvernements devraient aller plus rapidement pour innover et adopter des technologies avancées. Deuxièmement, ils devraient également hiérarchiser le partenariat plus étroitement avec le secteur privé pour perturber les menaces, à la fois avec leurs industries nationales et les entreprises mondiales.

Ce ne sont pas seulement les Gémeaux – d’autres systèmes d’IA également exploités par CyberCrooks

Comme l’a noté le rapport Google d’aujourd’hui, d’autres sociétés de cybersécurité ont rendu compte de l’utilisation des systèmes d’IA disponibles par des acteurs de menace.

Par exemple:

• En février, Openai, qui est derrière Chatgpt, a déclaré que, en partenariat avec Microsoft, il a perturbé cinq acteurs affiliés à l’État qui ont essayé d’utiliser les services d’IA pour soutenir les cyber-activités malveillantes;
• En mai, Deloitte a décrit comment l’IA est utilisée pour des cyberattaques sophistiquées;
• En novembre, Microsoft a publié cette discussion vidéo enregistrée plus tôt en 2024 sur la façon dont l’IA est déjà un facteur important dans les cyber-menaces;
• En novembre également, ConnectWise a publié un blog sur la façon dont les acteurs malveillants tirent parti de l’IA.

Interrogé dans un e-mail pourquoi il a publié un rapport après avoir reconnu que d’autres avaient fait un travail similaire, le groupe de renseignement des menaces de Google a déclaré que ses conclusions étaient spécifiques à l’abus des Gémeaux. « Ce qui est cohérent (avec d’autres rapports), ce sont les catégories d’activités que nous avons vues », a déclaré le groupe, notant, « plutôt que de nouvelles techniques malveillantes, nous voyons de mauvais acteurs s’appuyer sur les Gémeaux pour des tâches communes comme le dépannage, la recherche et Génération de contenu. «