L’outil de création d’agents présente des vulnérabilités, disent les experts ; Google indique qu’il publiera publiquement les problèmes connus au fur et à mesure qu’il s’efforcera de les résoudre.
L’outil de développement Antigravity de Google pour créer des agents d’intelligence artificielle est disponible depuis moins de 11 jours et la société a déjà été obligée de mettre à jour les pages de problèmes connus après que des chercheurs en sécurité ont découvert ce qu’ils considèrent comme des vulnérabilités.
Selon un blog de Mindgard, l’un des premiers à avoir découvert des problèmes avec Antigravity, Google ne qualifie pas le problème détecté de bug de sécurité. Mais Mindgard affirme qu’un acteur menaçant pourrait créer une règle malveillante en profitant des directives strictes d’Antigravity selon lesquelles tout assistant IA qu’il crée doit toujours suivre les règles définies par l’utilisateur.
L’auteur Aaron Portnoy, responsable de la recherche et de l’innovation chez Mindgard, affirme qu’après la publication de son blog, Google a répondu le 25 novembre pour indiquer qu’un rapport avait été déposé auprès de l’équipe produit responsable.
Pourtant, jusqu’à ce qu’il y ait des mesures, « l’existence de cette vulnérabilité signifie que les utilisateurs courent le risque d’attaques par porte dérobée via des espaces de travail compromis lorsqu’ils utilisent Antigravity, qui peuvent être exploitées par des attaquants pour exécuter du code arbitraire sur leurs systèmes. À l’heure actuelle, nous ne pouvons identifier aucun paramètre pour nous protéger contre cette vulnérabilité », a écrit Portnoy sur son blog.
Même dans le mode de fonctionnement le plus restrictif, « l’exploitation se poursuit sans relâche et sans confirmation de la part de l’utilisateur », écrit-il.
Invité à commenter, un porte-parole de Google a déclaré que la société était au courant du problème signalé par Mindguard et qu’elle s’efforçait de le résoudre.
« Le vecteur d’attaque passe par le référentiel de code source ouvert par le développeur », a-t-il expliqué, « et n’a pas besoin d’être déclenché via une invite. »
D’autres chercheurs ont également découvert des problèmes avec l’antigravité :
- Adam Swanda dit avoir découvert et divulgué à Google une vulnérabilité d’injection indirecte. Il a déclaré que Google lui avait dit que le problème particulier était un problème connu et qu’il s’agissait du comportement attendu de l’outil.
- un autre chercheur du nom de Wunderwuzzi a blogué sur la découverte de cinq failles, notamment l’exfiltration de données et l’exécution de commandes à distance via des vulnérabilités d’injection d’invite indirecte.
Ce blog note que, selon la page Problèmes connus d’Antigravity de Google, la société travaille sur des correctifs pour plusieurs problèmes.
Interrogé sur les problèmes signalés dans les trois blogs, un porte-parole de Google a déclaré : « Nous prenons les problèmes de sécurité très au sérieux et encourageons le signalement de toutes les vulnérabilités afin que nous puissions les identifier et les résoudre rapidement. Nous continuerons à publier publiquement les problèmes connus tout en travaillant pour les résoudre. »
Qu’est-ce que l’antigravité ?
Antigravity est un environnement de développement d’applications (IDE) intégré, publié le 18 novembre, qui exploite le chatbot Google Gemini 3 Pro. « Antigravity n’est pas seulement un éditeur », déclare Google. « Il s’agit d’une plate-forme de développement qui combine une expérience de codage familière basée sur l’IA avec une nouvelle interface axée sur l’agent. Cela vous permet de déployer des agents qui planifient, exécutent et vérifient de manière autonome des tâches complexes dans votre éditeur, votre terminal et votre navigateur. »
Les individus, y compris les auteurs de menaces, peuvent l’utiliser gratuitement.
Selon la société, Google Antigravity rationalise les flux de travail en proposant des outils de parallélisation, de personnalisation et de gestion efficace des connaissances, pour aider à éliminer les obstacles courants au développement et les tâches répétitives. Les agents peuvent être activés pour effectuer des tâches de routine telles que la recherche de base de code, la correction de bogues et les tâches en attente.
L’agent installe le malware
Le problème découvert par Mindgard concerne la règle d’Antigravity selon laquelle le développeur doit travailler dans un espace de travail fiable, sinon l’outil ne fonctionnera pas. La menace se manifeste par la création par un attaquant d’un référentiel de code source malveillant, explique Portnoy. « Ensuite, si une cible l’ouvre (en le trouvant sur Github, en faisant l’objet d’une ingénierie sociale ou en la trompant pour l’ouvrir), le système de cet utilisateur est compromis de manière persistante. »
L’acteur malveillant n’a pas besoin de créer un agent, a-t-il expliqué. L’agent fait partie d’Antigravity et est soutenu par le Google Gemini LLM. L’agent est le composant qui est amené à installer la porte dérobée en suivant les instructions du référentiel de code source malveillant ouvert par l’utilisateur.
« Dans Antigravity », affirme Mindgard, « la confiance est en fait le point d’entrée vers le produit plutôt qu’un octroi de privilèges. » Le problème, souligne-t-il, est qu’un espace de travail compromis devient une porte dérobée à long terme vers chaque nouvelle session. « Même après une désinstallation et une réinstallation complètes d’Antigravity », explique Mindgard, « la porte dérobée reste en vigueur. Étant donné que la conception principale d’Antigravity nécessite un accès fiable à l’espace de travail, la vulnérabilité se traduit par un risque inter-espace de travail, ce qui signifie qu’un espace de travail corrompu peut avoir un impact sur toute utilisation ultérieure d’Antigravity, quels que soient les paramètres de confiance. «
Selon Mindguard, pour toute personne responsable de la cybersécurité de l’IA, cela met en évidence la nécessité de traiter les environnements de développement de l’IA comme une infrastructure sensible et de contrôler étroitement le contenu, les fichiers et les configurations qui y sont autorisés.
Processus « déroutant »
Dans son e-mail, Portnoy a reconnu que Google prenait désormais des mesures. « Google progresse dans son processus établi, même si la nature des arrêts et des démarrages était un peu perplexe. Tout d’abord (la vulnérabilité signalée) a été signalée comme ne constituant pas un problème. Ensuite, elle a été rouverte. Ensuite, la page des problèmes connus a été modifiée furtivement pour être plus globale. Il est bon que la vulnérabilité soit examinée par leur équipe de sécurité pour déterminer sa gravité, même si en attendant, nous recommandons à tous les utilisateurs d’Antigravity d’examiner sérieusement la vulnérabilité trouvée et les moyens d’atténuation. «
Adam Swanda dit dans son blog qu’il a été capable d’extraire partiellement l’invite système d’un agent antigravité, suffisamment pour identifier une faiblesse de conception qui pourrait conduire à une injection indirecte d’invite.
Met en évidence des problèmes plus larges
Le problème est que l’invite indique à l’IA de suivre strictement les balises spéciales de style XML qui gèrent les instructions privilégiées dans une conversation entre un utilisateur et le chatbot, de sorte qu’il n’y aura aucun avertissement à l’utilisateur que des instructions spéciales, et éventuellement malveillantes, ont été récupérées. Lorsque l’agent récupère du contenu Web externe, explique Swanda, il ne nettoie pas ces balises spéciales pour s’assurer qu’elles proviennent bien de l’application elle-même et non d’une entrée non fiable. Un attaquant peut intégrer son propre message spécial dans une page Web, ou probablement dans tout autre contenu, et l’agent Antigravity traitera ces commandes comme des instructions système fiables.
Ce type de vulnérabilité n’est pas nouveau, ajoute-t-il, mais les résultats mettent en évidence des problèmes plus larges dans les grands modèles de langage et les systèmes d’agents :
- Les LLM ne peuvent pas faire la distinction entre les sources fiables et non fiables ;
- les sources non fiables peuvent contenir des instructions malveillantes pour exécuter des outils et/ou modifier les réponses renvoyées à l’utilisateur/à l’application ;
- les invites du système ne doivent pas être considérées comme secrètes ou utilisées comme contrôle de sécurité.
Conseils aux développeurs
Swanda recommande aux équipes de développement d’applications de créer des agents d’IA avec des appels d’outils :
- supposer que tout le contenu externe est contradictoire. Utiliser des garde-fous d’entrée et de sortie solides, y compris l’appel d’outils ; Supprimez toute syntaxe spéciale avant le traitement ;
- mettre en œuvre des garanties d’exécution des outils. Exiger l’approbation explicite de l’utilisateur pour les opérations à haut risque, en particulier celles déclenchées après la manipulation de contenu non fiable ou d’autres combinaisons d’outils dangereuses ;
- ne comptez pas sur les invites pour la sécurité. Les invites du système, par exemple, peuvent être extraites et utilisées par un attaquant pour influencer sa stratégie d’attaque.
En outre, Portnoy recommande aux développeurs de travailler avec leurs équipes de sécurité pour s’assurer qu’elles examinent et évaluent suffisamment les outils assistés par l’IA qu’ils introduisent dans leur organisation. « Il existe de nombreux exemples d’utilisation d’outils assistés par l’IA pour accélérer les pipelines de développement afin d’améliorer l’efficacité opérationnelle », a-t-il déclaré. « Cependant, par expérience, la sécurité des outils de pointe (récemment abandonnés) est en quelque sorte une réflexion secondaire. Réfléchir sérieusement au cas d’utilisation prévu de l’outil d’IA, aux sources de données auxquelles il peut accéder et à ce à quoi il est connecté est fondamental pour garantir votre sécurité. »
