Le contenu malveillant dans les problèmes ou les demandes d’extraction peut inciter les agents d’IA dans les flux de travail CI/CD à exécuter des commandes privilégiées dans le cadre d’une attaque que les chercheurs surnomment PromptPwnd.
Les agents d’IA intégrés dans les pipelines CI/CD peuvent être amenés à exécuter des commandes à privilèges élevés cachées dans des problèmes GitHub contrefaits ou dans des textes de requêtes d’extraction.
Les chercheurs d’Aikido Security ont retracé le problème jusqu’aux flux de travail qui associent GitHub Actions ou GitLab CI/CD à des outils d’IA tels que Gemini CLI, Claude Code Actions, OpenAI Codex Actions ou GitHub AI Inference. Ils ont découvert que des chaînes non supervisées fournies par l’utilisateur, telles que des corps de problèmes, des descriptions de demandes d’extraction ou des messages de validation, pouvaient être introduites directement dans les invites des agents IA lors d’une attaque qu’ils appellent PromptPwnd.
Selon ce que le flux de travail permet à l’IA de faire, cela peut entraîner des modifications involontaires du contenu du référentiel, la divulgation de secrets ou d’autres actions à fort impact.
« Les agents d’IA connectés à GitHub Actions/GitLAb CI/CD traitent les entrées utilisateur non fiables et exécutent des commandes shell avec accès à des jetons à privilèges élevés », ont écrit les chercheurs dans un article de blog sur PromptPwnd. Ils ont déclaré avoir reproduit le problème dans un environnement de test et en avoir informé les fournisseurs concernés.
Les chercheurs ont recommandé d’exécuter un ensemble de règles de détection open source sur les fichiers GitHub Action .yml suspectés, ou d’utiliser leur scanner de code gratuit sur les dépôts GitHub et GitLab.
Aikido Security a déclaré que Google avait corrigé le problème dans Gemini CLI après en avoir été informé ; Google n’a pas immédiatement répondu à une demande d’informations à ce sujet.
Pourquoi PromptPwnd fonctionne
Les exploits PromptPwnd deviennent possibles lorsque deux configurations de pipeline défectueuses se produisent ensemble : lorsque les agents d’IA opérant dans les flux de travail CI/CD ont accès à des jetons puissants (comme GITHUB_TOKEN, des clés d’accès au cloud) et que leurs invites intègrent des champs contrôlés par l’utilisateur.
Une injection rapide devient plus facile avec une telle configuration, ont expliqué les chercheurs. Un attaquant peut simplement ouvrir un ticket sur un référentiel public et insérer des instructions cachées ou des commentaires apparemment innocents qui font également office de commandes à sélectionner par le modèle. « Imaginez que vous envoyez une invite à un LLM, et dans cette invite, vous incluez le message de validation », ont déclaré les chercheurs. « Si ce message de validation est une invite malveillante, vous pourrez peut-être demander au modèle de renvoyer des données modifiées. » La réponse du modèle, si elle est utilisée directement dans les commandes des outils des pipelines CI/CD, peut manipuler ces outils pour récupérer des informations sensibles.
Aikido Security l’a démontré dans un environnement contrôlé (sans jetons réels) pour montrer que Gemini CLI pouvait être manipulé pour exécuter des commandes fournies par un attaquant et exposer des informations d’identification sensibles via un problème GitHub spécialement conçu. « Gemini CLI n’est pas un cas isolé. Le même modèle d’architecture apparaît dans de nombreuses actions GitHub basées sur l’IA », ont déclaré les chercheurs, ajoutant que la liste comprenait Claude Code, OpenAI Codex et GitHub AI Inference.
Tous ces outils peuvent être trompés (via un problème, une description de demande d’extraction ou tout autre texte contrôlé par l’utilisateur) pour produire des instructions que le flux de travail exécute ensuite avec son jeton d’actions GitHub privilégié.
Plan d’atténuation
Aikido dispose de règles de détection open source via son outil « Opengrep » qui permet aux développeurs et aux équipes de sécurité d’analyser automatiquement leurs flux de travail YAML, révélant s’ils alimentent des entrées non fiables dans les invites de l’IA.
Les chercheurs ont déclaré que jusqu’à présent, seul un sous-ensemble de flux de travail a confirmé des chemins d’exploitation et qu’ils travaillent avec plusieurs autres sociétés pour remédier aux vulnérabilités sous-jacentes. Certains flux de travail ne peuvent être exploités qu’avec un accès au niveau du collaborateur, tandis que d’autres peuvent être déclenchés par toute personne qui dépose un problème ou une pull request.
Il est conseillé aux équipes de développeurs de restreindre ce que les agents d’IA peuvent faire, d’éviter de transmettre du contenu utilisateur non fiable dans des invites, de traiter la sortie de l’IA comme du code non fiable et de contenir les dommages causés par les jetons GitHub compromis.
Aikido Security a déclaré que son scanner de code peut aider à signaler ces vulnérabilités en détectant les configurations d’actions GitHub dangereuses (y compris les flux d’invites d’IA risqués), en identifiant les jetons trop privilégiés et en faisant apparaître des modèles CI/CD non sécurisés via une analyse d’infrastructure en tant que code.
Il existe d’autres bonnes pratiques pour sécuriser les pipelines CI/CD que les entreprises peuvent également adopter.
Cet article a été publié pour la première fois sur Infoworld.
