L’empoisonnement de l’IA et la crise de la confiance du CISO

En mai 2025, la NSA, la CISA et le FBI ont publié un bulletin conjoint rédigé avec la coopération des gouvernements d’Australie, de Nouvelle-Zélande et du Royaume-Uni confirmant que les acteurs adversaires empoisonnent les systèmes d’IA à travers les secteurs en corrompant les données qui les forment. Les modèles fonctionnent toujours – qui ne s’aligne plus sur la réalité.

Pour les CISO, cela marque un changement aussi important que l’adoption du cloud ou la montée en puissance des ransomwares. Le périmètre a à nouveau bougé, cette fois à l’intérieur des modèles de grande langue (LLM) utilisés pour former les algorithmes. Le guide du Bulletin pour aborder la corruption des données via l’intoxication des données est digne de l’attention de chaque CISO.

L’empoisonnement de l’IA déplace la surface d’attaque de l’entreprise

Dans les cadres de sécurité traditionnels, l’objectif est souvent binaire: refuser l’accès, détecter l’intrusion, restaurer la fonction. Mais l’IA ne se brise pas de manière évidente. Il déforme. Les données d’entraînement empoisonnées peuvent remodeler la façon dont un système étiquette les transactions financières, interprète les analyses médicales ou filtre le contenu, le tout sans déclencher d’alertes. Même les modèles bien calibrés peuvent apprendre des mensonges subtils si des informations contaminées sont introduites en amont.

Des exemples importants comprennent:

• Les modèles de fondation ont commencé à perrober la propagande alignée sur le Kremlin après avoir ingéré du matériel semé par un réseau russe à grande échelle connu sous le nom de «réseau Pravda».
• Une liste de lecture de haut niveau générée par l’AI publiée par deux médias américains comprenait 10 titres de livres hallucinés attribués par erreur à de vrais auteurs.
• Les chercheurs ont montré que les perturbations imperceptibles dans les images d’entraînement pouvaient déclencher une mauvaise classification.
• Les chercheurs du domaine des soins de santé ont démontré comment l’empoisonnement des données dans les LLM au taux de seulement 0,001% a déclenché une désinformation médicale.

Repenser le risque: du système à l’épistémologie

La cybersécurité a toujours été de défendre les systèmes. Mais dans un environnement AI-First, les systèmes ne sont pas statiques. Cela déplace le rôle du CISO de la défense traditionnelle du périmètre à la défense d’inférence. L’adversaire ne vide pas simplement les réseaux; Lorsque l’IA est employée, l’utilisation par l’adversaire de l’empoisonnement des données est falsifié de connaissances elle-même.

En 2023, j’ai fait valoir que les CISO devraient commencer à traiter les systèmes d’IA moins comme des outils et plus comme des coéquipiers imprévisibles. J’ai parlé avec Rebecca Herold, un conseiller de longue date de la vie privée et de l’INFOSEC, de ce dont ce nouvel alignement aurait besoin. Elle a fait surface huit questions fondamentales qui restent essentielles pour chaque fidélité des systèmes d’IA songage de CISO, la dérive d’inférence et la confiance institutionnelle:

1. Quelle est la provenance des données utilisées pour former votre IA? Pouvez-vous tracer d’où il vient, comment il a été traité et s’il a été organisé ou gratté?
2. Votre IA peut-elle expliquer son processus décisionnel d’une manière que votre équipe de conformité comprend? L’interprétabilité est essentielle lorsque les régulateurs ou les auditeurs viennent appeler.
3. Que se passe-t-il lorsque votre IA hallucine ou fabrique des informations? Avez-vous des mécanismes de détection et des protocoles d’escalade en place?
4. Qui est responsable lorsque votre IA fait une erreur? Existe-t-il une chaîne de responsabilité claire pour les résultats dirigés par l’IA?
5. Comment détectez-vous si votre IA a été falsifiée ou empoisonnée? Surveillez-vous la dérive comportementale, les intrants contaminants ou la contamination des ensembles de formation?
6. Votre coéquipier de l’IA est-il aligné sur le cadre éthique de votre organisation? Cela reflète-t-il vos valeurs – ou simplement vos données?
7. Quelles garanties sont en place pour éviter la manipulation contradictoire? Vos équipes ont-elles réduit les modèles d’exploits rapides, d’intoxication aux données ou d’injection d’identité synthétique?
8. Êtes-vous prêt à défendre les décisions de votre IA devant le tribunal ou devant la Cour de l’opinion publique? Pouvez-vous expliquer et justifier les résultats aux régulateurs, aux clients et aux médias?

L’alignement nécessite une architecture

Anurag Gurtu, PDG de Cybersecurity Copilot Maker Airrived, a longtemps averti que les modèles d’IA génératifs, en l’absence de renforcement contextuel, auront tendance à dériver vers des mensonges plausibles. Il a plaidé pour l’intégration de la structure basée sur les graphiques et des ensembles de règles spécifiques au domaine pour aider à limiter l’inférence de l’IA. Ce conseil a pris une nouvelle urgence.

La leçon est claire: lorsque l’IA ingéme sans surveillance et sorties sans auditabilité, l’écart entre la réalité et la réponse s’élargit. Cet écart devient la violation de l’intégrité du système, de la fidélité sémantique et de la confiance.

Intendance partagée, responsabilité centrale

Le CISO reste l’épingle en ligne de la résilience organisationnelle et se retrouve à lutter contre les risques d’empoisonnement en IA qui traversent les domaines. C’est pourquoi le partenariat compte. Le directeur de la confiance, lorsqu’il est présent, apporte une perspective axée sur l’alignement du comportement du modèle avec les valeurs institutionnelles et la responsabilité sociale. Le directeur des données régit l’intégrité, l’approvisionnement et le cycle de vie des actifs de formation. Le directeur de la vie privée garantit un traitement licite et éthique des données tout au long du pipeline de l’IA.

Ces dirigeants collaborent, mais le CISO s’intègre. En fin de compte, c’est le CISO qui sera appelé pour expliquer à la fois au public interne et externe comment un modèle compromis a pris ses décisions et ce que l’organisation a fait pour l’empêcher.

Six actions que chaque CISO peut prendre maintenant

Pour réduire les risques et récupérer la visibilité sur le comportement du modèle, les chefs de sécurité devraient prendre les six actions suivantes alignées sur trois impératifs: visibilité, vigilance et viabilité.

Visibilité

1. MAP DÉPÉLENCES AI: Identifiez chaque système – interne ou tiers – où l’IA influence les décisions matérielles, y compris l’IA intégrée dans les plates-formes SaaS et les déploiements fantômes.

2. Établir des protocoles de provenance des données: Nécessitent une documentation des entrées de formation, du contrôle de version et de la chaîne de garde numérique pour chaque construction de modèle.

Vigilance

3. Surveiller pour la dérive comportementale: Utilisez des repères connus, des entrées canaries et des sondes adversaires pour détecter la dérive sémantique à travers le temps, le contexte et les cohortes utilisateur.

4. Équipe rouge pour le sens, pas seulement l’accès: Simuler les entrées empoisonnées, les exploits basés sur un coffre-fort et les interactions d’identité synthétique pour évaluer la résilience du modèle.

Viabilité

5. Développer des manuels d’échec du modèle: Préparez les scénarios impliquant des résultats hallucinés, la non-conformité réglementaire ou les incidents de désinformation publique. Inclure les chemins d’escalade, les procédures de recul et les protocoles de communication publique.

6. Investir dans la maîtrise de l’IA dans toute l’organisation: Les dirigeants de la sécurité, du juridique, de la conformité et des risques doivent tous comprendre comment interroger l’IA et pas seulement faire confiance à l’IA.

Pensé pour que les cisos mâchent

Les systèmes d’IA sont désormais co-auteurs des décisions d’entreprise. Ils prévoient le risque de crédit, le signalement des anomalies de santé, les candidats à l’écran et les menaces de triage. Mais lorsque ces systèmes sont formés sur des données empoisonnées, le préjudice ne commence pas par leur déploiement. Cela commence dans leur formation.

Le rôle du CISO a toujours été de protéger l’organisation contre les menaces qu’elle ne comprend pas encore. L’empoisonnement de l’IA est cette menace.

La confiance, une fois brisée par un algorithme, ne peut pas être restaurée avec un patch. Il doit être reconstruit. Délibérément. Transparent. Et sous la montre du CISO.