Les conseils du NIST en matière d’IA repoussent les limites de la cybersécurité

Pendant des années, les orientations américaines en matière de cybersécurité reposaient sur un postulat rassurant : les nouvelles technologies introduisent de nouveaux problèmes, mais pas de problèmes fondamentalement nouveaux. Selon ce point de vue, l’intelligence artificielle reste un logiciel, simplement plus rapide, plus complexe et plus puissant.

Les contrôles qui protègent les systèmes traditionnels, pensaient-ils, peuvent également être largement adaptés pour protéger l’IA. Cette hypothèse a fait surface lors d’un récent atelier du National Institute of Standards and Technology (NIST) sur l’IA et la cybersécurité.

« À bien des égards, les systèmes d’IA ne sont que des logiciels intelligents, des logiciels sophistiqués avec un petit plus », a déclaré aux participants Victoria Pillitteri, informaticienne superviseuse à la division de sécurité informatique du NIST, en résumant ce point de vue de longue date. « Cela signifie que nous pouvons exploiter le solide corpus de connaissances (en matière de cybersécurité) qui existe déjà avec quelques modifications, avec quelques considérations, mais nous ne devons pas et ne devons pas partir de zéro », a-t-elle ajouté.

Mais à mesure que les discussions au cours de l’événement se sont tournées vers les agents d’IA et la manipulation adverse, ce concept a commencé à s’effilocher. Les experts ont décrit la manière dont l’IA met à rude épreuve les hypothèses fondamentales sur lesquelles s’appuient ces cadres, à savoir que les systèmes se comportent de manière déterministe, que les frontières entre les composants sont stables et que les humains gardent fermement le contrôle.

Ces préoccupations dépassent désormais les discussions internes et s’inscrivent dans l’élaboration de normes publiques. Le 8 janvier, le Center for AI Standards and Innovation (CAISI) du NIST a publié une demande d’informations (RFI) officielle sur les pratiques et méthodologies sécurisées des systèmes d’agents d’IA, l’un des aspects les plus difficiles de l’IA en matière de gestion des identités et de cybersécurité.

La RFI se concentre sur les systèmes d’IA capables de prendre des mesures autonomes qui affectent les environnements du monde réel et demande explicitement des commentaires sur les nouveaux risques, les pratiques de sécurité, les méthodes d’évaluation et les contraintes de déploiement.

Pour les RSSI, ce qui devrait compter, c’est que le NIST passe d’un cadre de gestion des risques d’IA large et fondé sur des principes à des attentes plus fondées sur le plan opérationnel, en particulier pour les systèmes qui agissent sans surveillance humaine constante. Ce qui ressort des travaux du NIST liés à la cybersécurité en matière d’IA, c’est la reconnaissance du fait que l’IA n’est plus une question de gouvernance lointaine ou abstraite, mais un problème de sécurité à court terme que l’organisme national de normalisation tente de résoudre de manière multiforme.

Le vaste portefeuille de cybersécurité et d’IA du NIST

Bien que l’objectif de l’atelier était de solliciter des commentaires spécifiquement sur le profil préliminaire du cadre de cybersécurité pour l’intelligence artificielle (Cyber ​​AI Profile) du NIST, qui est une adaptation des profils communautaires émergeant du cadre de cybersécurité du NIST, les experts ont abordé de nombreuses autres pratiques et initiatives méthodologiques du NIST qui traitent des menaces et des opportunités de sécurité liées à l’IA.

Ces efforts montrent comment le NIST attaque la sécurité de l’IA sous plusieurs angles (développement, déploiement, identité, confidentialité et abus contradictoires) et incluent :

Cadre de gestion des risques liés à l’IA. Publié le 26 janvier 2023, l’AI RMF du NIST a été développé pour mieux gérer les risques pour les individus, les organisations et la société associés à l’IA. « Ce que nous essayons de faire avec le cadre de gestion des risques de l’IA, c’est de comprendre dans quelle mesure nous faisons confiance à l’IA, qui fonctionne de différentes manières dans certaines de ces tâches que nous connaissons très bien », a déclaré Martin Stanley, chercheur principal en IA et cybersécurité au NIST, lors de l’atelier.

Centre pour les normes et l’innovation en IA (CAISI). Le CAISI du NIST sert de « principal point de contact de l’industrie au sein du gouvernement américain pour faciliter les tests et la recherche collaborative liés à l’exploitation et à la sécurisation du potentiel des systèmes d’IA commerciaux », a déclaré Maia Hamin, membre du personnel technique du CAISI, le centre qui développe les meilleures pratiques et normes pour améliorer la sécurité et la collaboration de l’IA. Il « dirige également des évaluations des systèmes d’IA américains et adverses, y compris l’adoption de modèles étrangers, les vulnérabilités potentielles en matière de sécurité ou le potentiel d’influence étrangère », a-t-elle déclaré aux participants à l’atelier.

NIST AI 100-2 E2025, Adversarial Machine Learning : une taxonomie et une terminologie des attaques et des atténuations. Ce rapport du NIST, publié en mars 2025, propose une taxonomie des concepts et définit la terminologie dans le domaine de l’apprentissage automatique contradictoire (AML). « L’apprentissage automatique contradictoire ou IA contradictoire est le domaine qui étudie les attaques contre les systèmes d’IA qui exploitent la nature statistique et basée sur les données de cette technologie », a déclaré Apostol Vassilev, superviseur de l’équipe de recherche du NIST, lors de l’atelier. « Le détournement, l’injection rapide, l’injection rapide indirecte, l’empoisonnement des données, tout cela fait partie du champ d’étude de l’IA contradictoire », a-t-il précisé.

Dioptre. Dioptra est une plateforme de test logiciel du NIST permettant d’évaluer les caractéristiques fiables de l’IA. « Vous disposez de plusieurs dimensions selon lesquelles vous souhaitez les analyser, car vous souhaitez identifier leur précision pour une tâche particulière », a déclaré Harold Booth, informaticien superviseur du NIST, lors de l’événement. « Vous voulez être en mesure d’identifier leur robustesse face à différents types d’attaques », a déclaré Booth. « Vous voulez savoir dans quelle mesure ils s’en sortent par rapport à différents types d’ensembles de données. »

NIST SP 800-218A, Pratiques de développement de logiciels sécurisés pour l’IA générative et les modèles de fondation à double usage : un profil de la communauté SSDF. Le profil de la communauté AI SSDF ajoute « des pratiques, des tâches, des recommandations, des considérations, des notes et des références informatives spécifiques au développement de modèles d’IA tout au long du cycle de vie du développement logiciel ». Booth du NIST a déclaré aux participants à l’atelier : « Ce profil particulier est très axé sur ce qui est nouveau en ce qui concerne le développement de systèmes d’IA. Toutes les préoccupations qui existent pour le développement normal de logiciels sont donc toujours d’actualité. Mais ce sur quoi nous nous sommes vraiment concentrés, c’est ce qui est nouveau. »

Banc d’essai PET. Le banc d’essai PETs du NIST offre la capacité d’étudier les technologies améliorant la confidentialité (PET) et leur adéquation respective à des cas d’utilisation spécifiques, aidant ainsi les organisations à évaluer et à gérer les risques liés à la confidentialité. Gary Howarth, qui dirige le programme d’ingénierie de la confidentialité au NIST, a déclaré que d’ici quelques semaines, le NIST publiera une nouvelle version de son cadre de confidentialité complémentaire à la gestion des risques de l’IA et à la modélisation des menaces de cybersécurité.

Publication spéciale du NIST 800-63 Lignes directrices sur l’identité numérique. Le NIST a récemment mis à jour ses lignes directrices de 2017 sur l’identité numérique afin de mieux prendre en compte le processus et les exigences techniques permettant de répondre aux niveaux d’assurance de l’identité numérique, compte tenu du rythme rapide de l’évolution technique numérique. Ryan Galluzzo, responsable du programme d’identité pour la division de cybersécurité appliquée du NIST, a souligné lors de l’atelier que « les agents d’IA commencent à changer le type de contexte et de conversation autour des contrôles de cybersécurité traditionnels. Dans le contexte de ce projet, notre intention est vraiment de nous concentrer sur ces problèmes d’accès, ces problèmes d’identification des agents qui opèrent au sein de mon entreprise. « 

Les limites de « l’IA n’est qu’un logiciel »

L’instinct du NIST de considérer l’IA comme une extension des logiciels traditionnels permet aux organisations de réutiliser des concepts familiers (évaluation des risques, contrôle d’accès, journalisation, défense en profondeur) plutôt que de repartir de zéro. Les participants à l’atelier ont souligné à plusieurs reprises que de nombreux contrôles sont effectivement transférés, du moins en principe.

Mais certains experts affirment que l’analogie s’effondre rapidement dans la pratique. Les systèmes d’IA se comportent de manière probabiliste et non déterministe, disent-ils. Leurs résultats dépendent de données qui peuvent changer continuellement après le déploiement. Et dans le cas des agents, ils peuvent entreprendre des actions qui n’ont pas été explicitement programmées à l’avance.

Pour les RSSI, le risque n’est pas que l’IA soit méconnaissable, mais qu’elle apparaisse suffisamment reconnaissable pour inciter les organisations à appliquer des contrôles mécaniquement. Traiter l’IA comme « juste une autre application » peut masquer de nouveaux modes de défaillance, en particulier ceux impliquant une manipulation indirecte via des données ou des invites plutôt que l’exploitation directe du code.

« Les systèmes d’agents d’IA sont réellement confrontés à une série de menaces et de risques en matière de sécurité », a déclaré Hamin de CAISI lors de l’atelier. « Certains d’entre eux se chevauchent avec les logiciels traditionnels, mais d’autres découlent en quelque sorte du défi unique consistant à combiner les résultats du modèle d’IA, qui sont non déterministes, avec les possibilités et les capacités des outils logiciels. »

Les RSSI doivent faire attention à la fatigue du framework

Lors du lancement de l’atelier, Katerina Megas, conseillère politique principale du NIST, a expliqué que le NIST avait contacté la communauté des RSSI pour leur demander ce dont ils avaient besoin en termes de conseils en matière de sécurité de l’IA.

« Avant de nous engager dans une voie quelconque, nous avons parlé à la communauté des RSSI et nous leur avons demandé : « Alors, comment gérez-vous l’intelligence artificielle ? Comment cela affecte-t-il votre quotidien ? Est-ce quelque chose qui vous empêche de dormir la nuit ? » Et la très grande majorité a répondu oui, c’est absolument quelque chose qui nous tient à cœur. Nos dirigeants nous demandent : que faisons-nous ? a-t-elle déclaré lors de l’événement.

Mais les RSSI ont également déclaré au NIST qu’ils étaient submergés de documentation sur l’IA. Beaucoup de ces publications se chevauchaient, mais n’étaient pas identiques, a déclaré Megas. « Si vous étiez un consommateur de tous ces documents, il vous était très difficile de les examiner et de comprendre leur lien avec ce que vous faites et également de comprendre comment identifier où deux documents peuvent parler de la même chose et où ils se chevauchent.

« Nous pouvons avoir une version très détaillée, peut-être une centaine de pages, mais aussi une sorte de liste de contrôle qui résume en quelque sorte l’intégralité du document de 100 pages ou quelque chose du genre en quelques pages où les gens peuvent facilement le consulter, puis commencer à le mettre en œuvre », explique Mahavishnu.