Commencer avec une équipe généative de l’IA Red ou adapter une équipe existante à la nouvelle technologie est un processus complexe qui aide à déballer avec son dernier guide.
L’équipe rouge est une approche éprouvée pour tester et renforcer les systèmes de cybersécurité, mais il a toujours eu besoin d’évoluer aux côtés de la technologie. L’explosion de l’IA générative et des modèles de grands langues (LLM) au cours des dernières années n’est que la dernière innovation à venir et à forcer le monde de l’équipe rouge à s’adapter.
Son importance est soulignée par l’accent que la réglementation et les organes directeurs ont mis en place à une équipe rouge en relation avec l’IA, notamment la loi de l’intelligence artificielle de l’UE et le cadre de gestion des risques de l’IAM de l’Institut national des normes et de la technologie (NIST).
Étant donné que l’IA est une technologie naissante et émergente, de nombreuses organisations commencent tout juste à développer des approches de la équipe rouge pour une IA générative, ce qui fait de la «génération d’IA généative RED Guide: une approche pratique pour évaluer les vulnérabilités de l’IA», une ressource opportune.
Qu’est-ce que Generative AI Red Teaming?
L’OWASP définit l’association rouge dans le contexte de l’IA générative comme une «approche structurée pour identifier les vulnérabilités et atténuer les risques entre les systèmes d’IA» qui combine des tests contradictoires traditionnels avec des méthodologies et des risques spécifiques à l’IA. Cela comprend les aspects des systèmes d’IA génératifs tels que les modèles, les pipelines de déploiement et diverses interactions dans le contexte du système plus large.
OWASP met l’accent sur les rôles des outils, des méthodologies techniques et de la collaboration interfonctionnelle, y compris la modélisation des menaces, les scénarios et l’automatisation, tous soutenus par l’expertise humaine. Certains risques clés comprennent l’injection rapide, le biais et la toxicité, la fuite de données, l’empoisonnement des données et les risques de la chaîne d’approvisionnement, dont plusieurs peuvent également être trouvés dans les 10 meilleurs risques de l’OWASP.
Pour mettre en œuvre efficacement tout engagement en équipe rouge, certaines étapes clés sont nécessaires, telles que:
- Définition des objectifs et de la portée
- Assembler une équipe
- Modélisation des menaces
- Aborder l’ensemble de la pile d’application
- Débriefing, analyse post-engagement et amélioration continue
L’équipe généative de l’IA rouge complète l’équipe rouge traditionnelle en se concentrant sur les aspects nuancés et complexes des systèmes dirigés par l’IA, y compris la prise en compte de nouvelles dimensions de test telles que la modélisation des menaces spécifiques à l’IA, la reconnaissance du modèle, l’injection rapide, le contournement du garde-corps, etc.
Portée de l’équipe rouge AI
L’équipe Generative AI Red s’appuie sur une équipe rouge traditionnelle en couvrant des aspects uniques de l’IA générative, tels que les modèles, la sortie du modèle, et la sortie et les réponses des modèles. Les équipes rouges génératrices de l’IA devraient examiner comment les modèles peuvent être manipulés pour produire des résultats trompeurs et fausses ou «jailbreakés», ce qui leur permet de fonctionner d’une manière qui n’était pas destinée.
Les équipes doivent également déterminer si la fuite de données peut se produire, qui sont toutes des risques clés Les consommateurs d’IA génératifs doivent être préoccupés. OWASP recommande que les tests considèrent à la fois la perspective contradictoire et celle de l’utilisateur touché.
Tirant l’extraction du profil générateur AI de l’AI RMF de NIST, le guide d’Owasp recommande de structurer l’équipe RED AI pour considérer les phases du cycle de vie (par exemple, la conception, le développement, etc.), la portée des risques tels que le modèle, l’infrastructure et l’écosystème, et la source des risques.
Risques abordés par une équipe rouge générationnelle
Comme nous l’avons discuté, l’IA génératrice présente des risques uniques, notamment la manipulation et l’empoisonnement du modèle, les biais et les hallucinations, entre autres, comme illustré dans l’image ci-dessus. Pour ces raisons, OWASP recommande une approche complète qui a quatre aspects clés:
- Évaluation du modèle
- Tests de mise en œuvre
- Évaluation du système
- Analyse d’exécution
Ces risques sont également examinés sous trois perspectives: la sécurité (opérateur), la sécurité (utilisateurs) et la confiance (utilisateurs). OWASP classe ces risques en trois domaines clés:
- Risque de sécurité, de confidentialité et de robustesse
- Toxicité, contexte nocif et risque d’interaction
- Biais, intégrité du contenu et risque de désinformation
L’IA agentique, en particulier, a reçu une attention considérable de l’industrie, avec des sociétés d’investissement de premier plan telles que Sequoia appelant le 2025 «L’année de l’IA agentique». OWASP souligne spécifiquement les risques multi-agents tels que les chaînes d’attaque en plusieurs étapes entre les agents, l’exploitation des intégrations d’outils et le pontage d’autorisation grâce aux interactions d’agent. Pour fournir plus de détails, OWASP a récemment produit sa publication «AI – Mistes et atténuations», y compris un résumé du modèle de menace du système multi-agents.
Modélisation des menaces pour les systèmes générateurs AI / LLM
OWASP recommande la modélisation des menaces comme une activité clé pour une équipe générationnelle de l’IA RED et cite l’atlas d’agence comme une excellente ressource à référence. La modélisation des menaces est effectuée pour analyser systématiquement la surface d’attaque du système et identifier les risques potentiels et les vecteurs d’attaque.
Les principales considérations incluent l’architecture du modèle, les flux de données et la façon dont le système interagit avec l’environnement plus large, les systèmes externes, les données et les aspects sociotes tels que les utilisateurs et le comportement. OWASP, cependant, souligne que l’IA et la ML présentent des défis uniques parce que les modèles peuvent se comporter de manière imprévisible parce qu’ils sont non déterministes et probabilistes.
Stratégie générative de l’équipe rouge d’IA
La stratégie générative de l’équipe RED de chaque organisation peut être différente. OWASP explique que la stratégie doit être alignée sur les objectifs de l’organisation, qui peuvent inclure des aspects uniques tels que les objectifs responsables de l’IA et les considérations techniques.
Les stratégies génératrices de l’équipe RED devraient considérer divers aspects comme présentés dans l’image ci-dessus, tels que la portée basée sur les risques, l’engagement des équipes interfonctionnelles, la fixation d’objectifs clairs et la production de rapports informatifs et exploitables.
Plan pour une équipe rouge génératrice
Une fois qu’une stratégie est en place, les organisations peuvent créer un plan pour mener une équipe générationnelle en rouge IA. Ce plan fournit une approche structurée et les étapes, techniques et objectifs spécifiques de l’exercice.
OWASP recommande d’évaluer les systèmes d’IA génératifs en phases, y compris les modèles, la mise en œuvre, les systèmes et l’exécution, comme le montre ci-dessous:
Chacune de ces phases a des considérations clés, telles que la provenance et les pipelines de données du modèle, tester les garde-corps qui sont en place pour la mise en œuvre, l’examen des systèmes déployés pour les composants exploitables et le ciblage des processus commerciaux d’exécution pour des défaillances ou des vulnérabilités potentielles dans la façon dont plusieurs composants d’IA interagissent au moment de la production.
Cette approche progressive permet une identification efficace des risques, la mise en œuvre d’une défense multicouche, l’optimisation des ressources et la poursuite de l’amélioration continue. Les outils doivent également être utilisés pour l’évaluation du modèle pour soutenir la vitesse d’évaluation, la détection efficace des risques, la cohérence et l’analyse complète. Le guide d’équipe RED Generative RED complet complet fournit une liste de contrôle détaillée pour chaque phase Blueprint, qui peut être référencée.
Techniques essentielles
Bien qu’il existe de nombreuses techniques possibles pour une équipe générationnelle d’IA rouge, il peut sembler écrasant de déterminer ce qu’il faut inclure ou par où commencer. OWASP fournit cependant ce qu’ils considèrent comme des techniques «essentielles».
Il s’agit notamment d’exemples tels que:
- Ingénierie rapide contradictoire
- Manipulation de génération de jeux de données
- Suivi des attaques multi-tours
- Test des limites de sécurité
- Analyse d’outillage / plugin agentique
- Capacités de détection et de réponse organisationnelles
Ce n’est qu’un sous-ensemble des techniques essentielles, et la liste qu’ils fournissent représente une combinaison de considérations techniques et d’activités organisationnelles opérationnelles.
Matring une équipe rouge liée à l’IA
Comme pour les équipes rouges traditionnelles, une équipe générationnelle de l’IA rouge est un processus évolutif et itératif dans lequel les équipes et les organisations peuvent et devraient mûrir leur approche à la fois en outillage et en pratique.
En raison de la nature complexe de l’IA et de sa capacité à s’intégrer à plusieurs domaines de l’organisation, des utilisateurs, des données, etc., OWASP souligne la nécessité de collaborer avec plusieurs groupes de parties prenantes à travers l’organisation, d’effectuer des réunions régulières de synchronisation, ont clairement défini des processus pour partager les résultats et intégrer des cadres et des contrôles de risque organisationnels existants.
L’équipe effectuant une équipe générationnelle en IA devrait également évoluer pour ajouter une expertise supplémentaire au besoin pour garantir que les compétences pertinentes évoluent ainsi que la nature en évolution rapide du paysage génératif de la technologie d’IA.
Meilleures pratiques
Le guide d’équipe Generative AI Red OWASP se termine en énumérant certaines meilleures pratiques clés que les organisations devraient considérer plus largement. Il s’agit notamment d’exemples tels que l’établissement de politiques, normes et procédures générales d’IA et établir des objectifs clairs pour chaque session d’équipe rouge.
Il est également essentiel que les organisations aient des critères de réussite clairement définis et significatifs pour maintenir une documentation détaillée des procédures de test, des résultats et des atténuations et de l’organisation d’une base de connaissances pour les futures activités génératrices de l’équipe rouge d’IA.
