Les tentatives de NIST pour sécuriser l’IA donnent de nombreuses questions, pas de réponses

Lorsque l’Institut national américain des normes et de la technologie (NIST) à la fin de la semaine dernière a publié un document conceptuel sur la façon dont les entreprises peuvent se protéger des systèmes d’IA, il s’est concentré sur la catégorisation des problèmes sans suggérer de tactiques d’atténuation spécifiques.

Pour cela, l’organisation s’est tournée vers l’industrie et a demandé des suggestions.

« NIST est intéressé par les commentaires sur le document conceptuel et le plan d’action proposé, et invite toutes les parties intéressées à rejoindre les superpositions NIST pour sécuriser le canal Slack AI (# nist-over-en-sécurisation) », a déclaré la page décrivant le document. «Grâce à la chaîne Slack, les parties prenantes peuvent contribuer au développement de ces superpositions, obtenir des mises à jour, s’engager dans des discussions facilitées avec les chercheurs principaux du NIST et d’autres membres du sous-groupe et fournir des commentaires et des commentaires en temps réel.»

Les analystes et les défenseurs de l’industrie de la sécurité considèrent les défis des contrôles de sécurité de l’IA comme étendus, mais c’est principalement parce que les entreprises utilisent désormais – ou se battent – de tant de manières différentes.

Du point de vue technique du NIST, le groupe a déclaré qu’il souhaitait modifier ses règles actuelles pour s’adapter aux contrôles de l’IA, au lieu de créer quelque chose de nouveau. Plus précisément, NIST a déclaré qu’il souhaitait s’appuyer sur les contrôles de publication spéciale (SP) 800-53 du NIST. Cela fournit les principales protections de cybersécurité NIST traitant des problèmes de défense traditionnels, notamment le contrôle d’accès, la sensibilisation, l’audit, la réponse aux incidents, la planification de la contingence et l’évaluation des risques.

S’appuyer sur les règles existantes a du sens

« La décision d’ancrer ces superpositions dans les contrôles SP 800-53 démontre une pensée stratégique sophistiquée. Les organisations possèdent déjà des connaissances institutionnelles autour de ces cadres », a déclaré Aaron Perkins, fondateur de l’IA provente du marché. «Ils comprennent les processus de mise en œuvre, ont établi des méthodologies d’évaluation et, surtout, leurs équipes savent travailler dans ces structures. Cette familiarité élimine l’un des obstacles les plus importants à la sécurité efficace de l’IA en supprimant la courbe d’apprentissage qui accompagne entièrement de nouvelles approches.»

L’analyste principal de Forrester, Janet Worthington, a convenu que la mise à profit d’un cadre NIST existant est logique.

« Les superpositions sont une extension naturelle, car de nombreuses organisations connaissent déjà SP 800-53, offrant une flexibilité pour adapter les mesures de sécurité à des technologies d’IA spécifiques et à des cas d’utilisation tout en intégrant parfaitement le NIST existant », a déclaré Worthington. «Ces superpositions sont spécifiquement conçues pour protéger la confidentialité, l’intégrité et la disponibilité des composants d’IA critiques.»

Défis à considérer

Le journal NIST a parlé de diverses catégories d’intégration d’IA qui ont forcé de graves considérations de cybersécurité, notamment: l’utilisation de Genai pour créer de nouveaux contenus; AI prédictif à réglage fin; en utilisant des agents d’IA uniques ainsi que plusieurs agents; et les contrôles de sécurité pour les développeurs d’IA.

L’élément potentiellement le plus difficile de sécuriser l’IA dans les entreprises est la visibilité. Mais le problème de visibilité prend de nombreuses formes, y compris la visibilité sur ce sur quoi les fabricants de modèles s’entraînent et comment les modèles sont codés pour faire des recommandations, comment les données d’entreprise alimentées dans les modèles sont utilisées, le droit d’auteur, le brevet et d’autres protections juridiques attachées aux données qui ont été utilisées pour la formation, la quantité d’IA utilisée dans les applications SAAS et les déploiements de nuages, et comment les employés et les tiers parts utilisent Genai Globalement.

Si les CISO n’ont pas de visibilité significative sur tous ces problèmes, la tâche de sécuriser les informations qui se précipitent dans et hors de ces modèles sont presque impossibles.

De nombreux spécialistes de la cybersécurité ne savaient pas comment le raz de marée de l’activité de l’IA, une grande partie déployée dans les entreprises avec une diligence raisonnable apparemment insuffisante au préalable, peut désormais être correctement sécurisée.

Supposons un scénario Doomsday

« L’IA était tout le battage médiatique de RSA, Blackhat et Defcon. C’était au début et à la fin de chaque phrase du fournisseur », a déclaré Jeff Mann, un vétéran de l’industrie qui est aujourd’hui consultant en sécurité de l’information chez Online Business Systems. «C’était incroyable de voir comment l’IA allait résoudre tous les problèmes (et) nous découvrions également des vulnérabilités incroyables.»

Mann a également souligné les problèmes de visibilité, en particulier en termes de la façon dont l’IA est déployé à l’échelle de l’entreprise. « Ayez un inventaire et sachez à quoi vous traitez. Mais je ne suis pas sûr qu’il soit même possible de faire un inventaire complet de ce qui existe. Vous devez supposer un scénario d’adaptation. »

Un autre observateur de cybersécurité de longue date, Brian Levine, directeur général chez Ernst & Young et le PDG d’un répertoire d’anciens experts du gouvernement / de la sécurité militaire appelés Formergov, voit une grande partie du défi de sécurité de l’IA provenant de la façon dont il est utilisé pour presque toutes les fonctions commerciales – et à quel point il a été testé avant l’assurance-main.

« Nous constatons que l’IA devient omniprésente, et les dirigeants se sont précipités pour l’utiliser avant qu’ils ne le comprennent pleinement et pourraient s’attaquer aux problèmes de sécurité », a déclaré Levine. « (AI) est un peu une boîte noire et tout le monde se précipitait pour l’intégrer dans tout ce qu’ils faisaient. Au fil du temps, plus vous externalisez la technologie, plus vous prenez de risque. »

Visibilité des stocks prioritaire

Zach Lewis, CIO et CISO de l’Université des sciences de la santé et de la pharmacie à Saint-Louis, Missouri, ont également mis la visibilité au sommet de sa liste de risques d’IA.

« Vous ne pouvez pas corriger ce que vous ne savez pas en cours d’exécution. Cela s’applique également à l’IA. « Si les entreprises ne savent même pas quels modèles les employés utilisent, le reste des contrôles n’a pas d’importance. »

Il est également souvent nécessaire de supposer que toute l’IA est déjà empoisonnée, étant donné que c’est la seule hypothèse sûre, a noté Audian Paxson, stratège technique principal à Ironles.

«Supposons que chaque modèle d’IA dans votre environnement sera armé. «Vos modèles doivent apprendre des tentatives de données empoisonnées, des attaques d’injection rapides et des techniques d’inversion du modèle avant de frapper la production.»

Paxson a suggéré d’étendre la pensée supposée à toutes les stratégies de sécurité de l’IA.

« Lorsque vous pensez aux meilleures pratiques pour sécuriser les pipelines ML et les données de formation, commencez par l’hypothèse que vos données de formation sont déjà compromises parce que c’est probablement le cas. Mettre en œuvre la confidentialité différentielle et les contrôles de santé réguliers de modèle en demandant essentiellement à votre IA si elle se sent empoisonnée », a déclaré Paxson. «Utilisez l’apprentissage fédéré dans la mesure du possible, donc les données sensibles ne se centralisent jamais. Plus important encore, implémenter les dates de retraite du modèle. Un modèle d’IA formé il y a six mois est comme le lait laissé sur le comptoir. Il a probablement mal tourné.»

Revoir soigneusement les outils de sécurité existants

Le Worthington de Forrester a souligné que les CISO doivent examiner attentivement tous les outils de cybersécurité actuels, car ils peuvent ne pas être particulièrement efficaces pour protéger l’entreprise contre les menaces relativement nouvelles d’IA.

« Les agents de l’IA et les systèmes agentiques présentent de nouveaux risques que les modèles de sécurité traditionnels sont mal équipés à gérer », a déclaré Worthington. «Nous constatons des préoccupations croissantes en ce qui concerne le manque de surfaces de détection mature, le risque de défaillances en cascade et le défi de sécuriser l’intention plutôt que les résultats.»

Vince Berk, associé chez Apprentis Ventures, était encore plus sceptique quant aux efforts actuels des normes qui pourront faire une différence significative dans la protection des entreprises contre les menaces de l’IA.

«Il est fantastique que l’Institut for Standards nous fournisse un élément de guidage pour gérer nos risques d’IA. «Chaque jour, de nouveaux cas sont découverts qui étaient imprévus et soulèvent des questions sur l’utilité dans un sens large de l’IA.»

Il a ajouté que la nature du NIST pourrait ne pas en faire la meilleure source pour de telles directives. « Pour l’instant, un meilleur endroit pour ce type de contrôles serait CIS ou OWASP », a déclaré Berk.

Et si l’IA inonde les commentaires?

Erik Avakian, conseiller technique du groupe de recherche Info-Tech, a déclaré qu’il applaudit les efforts de NIST pour tendre la main pour les commentaires de la communauté, mais il a également averti qu’il pourrait se retourner. Par exemple, que se passe-t-il si les agents de l’IA inondent les commentaires de suggestions égoïstes?

Une telle inondation de commentaires de l’IA pourrait faire diverses mauvaises choses, a-t-il dit, notamment en faisant les recommandations finales «amicales» ou simplement «l’empoisonnement en IA d’empoisonnement des commentaires réels». Si cette attaque se produisait, a déclaré Avakian, la meilleure réponse du NIST serait de mener des entretiens en personne. « Ce serait le seul moyen. Peut-être des entretiens humains ou des ateliers régionaux où ils amènent les gens », a-t-il déclaré.

Bien qu’Avakian ait déclaré que le rapport initial du NIST est «certainement un début bienvenu, il y a des risques potentiels selon lesquels les superpositions peuvent ne pas aller assez loin car elles se rapportent à des vecteurs d’attaque émergents uniques à l’IA. Le (rapport) aborde les fondamentaux tels que l’intégrité du modèle et le contrôle d’accès, mais ces seuls pourraient ne pas creuser suffisamment profondément pour aborder les vecteurs d’attaque de pointe unique à Ai», a déclaré Avakian.

« Les scénarios de menace avancés pourraient passer à travers les mailles du filet », a-t-il déclaré. «De plus, ils pourraient ne pas aller assez loin en ce qui concerne les risques liés aux personnes telles que l’abus d’initiés, l’adoption d’IA de l’ombre ou les problèmes humains courants tels que les erreurs, les omissions et les erreurs. De nombreux systèmes et architectures d’IA varient également considérablement, et les superpositions pourraient bénéficier de plus granularité pour correspondre vraiment à la diversité que nous voyons à travers les déploiements de l’IA réel.».