Rampart transforme les résultats de l’équipe rouge en tests reproductibles ; Clarity documente et valide les hypothèses de conception des agents avant l’écriture du code.
Microsoft a mis à disposition deux nouveaux outils open source visant à introduire les contrôles de sécurité de l’IA beaucoup plus tôt dans le cycle de vie de développement des agents.
Les outils, appelés Rampart et Clarity, ont été annoncés cette semaine dans le cadre des efforts plus larges de Microsoft visant à opérationnaliser l’ingénierie de sécurité pour l’IA agentique.
« Nous avons construit ces outils parce que nous pensons que la sécurité de l’IA doit devenir une discipline d’ingénierie continue plutôt qu’un point de contrôle périodique, et nous pensons que la meilleure façon d’y parvenir est de mettre des outils pratiques et ouverts entre les mains des personnes qui construisent », a déclaré Ram Shankar Siva Kumar, fondateur de l’équipe rouge de l’IA de Microsoft, dans un article de blog sur la sécurité.
Cette annonce intervient alors que les agents IA évoluent d’assistants de type chatbot vers des systèmes dotés de véritables privilèges opérationnels. Selon Microsoft, ces nouveaux agents introduisent des risques que les workflows de sécurité des applications traditionnels n’ont pas été conçus pour gérer, notamment l’injection rapide, l’utilisation d’outils non sécurisée, l’élévation de privilèges et les actions autonomes involontaires.
Rampart et Clarity sont désormais disponibles en tant que projets open source de Microsoft.
Rempart pour les équipes rouges répétées de l’IA
Microsoft a positionné Rampart comme le plus opérationnel des deux outils. Le framework est conçu pour aider les développeurs à transformer les résultats de l’équipe rouge en tests reproductibles pouvant être exécutés en continu pendant les pipelines de développement et de déploiement.
Construit sur PyRIT, le cadre d’automatisation ouvert de Microsoft pour les systèmes d’IA générative d’équipe rouge, Rampart vise à permettre aux équipes d’exécuter des scénarios de tests contradictoires et inoffensifs contre des agents d’IA de manière structurée et automatisée.
L’idée est d’aller au-delà des examens de sécurité ponctuels et d’inclure des contrôles continus directement dans les flux de travail CI/CD. « Là où PyRIT est optimisé pour la découverte de boîtes noires par les chercheurs en sécurité après la construction du système, Rampart est conçu pour les ingénieurs au fur et à mesure de la construction du système », a expliqué Kumar.
Le cadre promet la possibilité de révéler les problèmes liés à l’injection d’invites croisées, à la gestion des données non sécurisée, à l’exécution d’outils non sécurisés et à d’autres chemins d’attaque spécifiques aux agents avant que les applications n’atteignent la production. De plus, Rampart est programmé pour permettre aux organisations de convertir les résultats de l’équipe rouge d’IA en tests automatisés reproductibles, aidant ainsi les ingénieurs à vérifier en permanence les régressions à mesure que les agents évoluent.
Clarté pour se concentrer sur les hypothèses des agents d’IA
Alors que Rampart se concentre sur les tests des systèmes en cours de construction, Clarity est ciblé plus tôt dans le flux de travail, avant que le code ne commence à être écrit.
Microsoft décrit Clarity comme un outil destiné à examiner et valider les hypothèses qui sous-tendent les décisions de conception d’agents d’IA. Cela impliquerait vraisemblablement d’évaluer le comportement attendu des agents, les autorisations dont ils devraient disposer, la manière dont ils interagissent avec les outils et les systèmes externes, ainsi que les limites de confiance.
« Clarity fonctionne comme une application de bureau, une interface utilisateur Web ou est directement intégrée dans un agent de codage », a déclaré Kumar. « Il guide les ingénieurs à travers des conversations structurées couvrant la clarification des problèmes, l’exploration de solutions, l’analyse des défaillances et le suivi des décisions. »
Ces conversations sont écrites dans le répertoire « .clarity-protocol/ » du référentiel sous forme de fichiers markdown, qui peuvent être validés, examinés dans des requêtes pull et différenciés comme le code source, a-t-il ajouté. Microsoft a construit une « gouvernance des agents » et une pile de sécurité open source au cours des derniers mois, intégrant Rampart et Clarity dans une stratégie plus large plutôt que dans une version autonome. Le mois dernier, la société a présenté le kit d’outils de gouvernance des agents, axé sur les contrôles de routine, l’application des politiques et les protections alignées sur l’OWASP pour les agents IA.
