Démystifier le risque dans l’IA

Compte tenu de l’importance de l’intelligence artificielle, j’aborde ce sujet depuis plusieurs mois, mais avec prudence, en cherchant à comprendre le point clé de la manière dont nous pouvons protéger les applications basées sur la Gen AI.

Nous vivons à une époque où l’IA est le thème central dans tous les domaines pouvant apporter des avantages aux organisations et aux utilisateurs finaux. En plus d’ajouter des bénéfices en matière de protection et d’anticipation dans la détection des cybermenaces, que ce soit avec les solutions de renseignement sur les menaces, de réponse aux incidents et d’EDR, SOAR, etc.

Cependant, la question que nous devons nous poser est de savoir dans quelle mesure nous prenons en compte les risques de cette technologie émergente. Alors que l’IA gagne du terrain grâce à l’utilisation de solutions telles que ChatGPT, Claude.ai, Meta.ai, Copilot, Gemini, Grok, entre autres solutions basées sur SaaS, il est un fait que l’IA envahit et prend le dessus sur notre routine. Ceux qui ne s’adaptent pas à cette technologie peuvent être considérés comme des éléments exclus.

Qu’il s’agisse d’enregistrer des réunions et de créer des résumés automatisés avec Hynote.ai, ou de préparer un plan de gestion des cyber-risques, il faut vraiment reconnaître la rapidité et l’agilité que l’IA apporte aux tâches quotidiennes. On voit déjà que dans certaines entreprises, où un employé décide de changer d’emploi, le poste ne peut plus être remplacé, et l’organisation envisage de mener des études évaluant la faisabilité de remplacer certaines tâches par l’IA.

L’importance de comprendre les risques derrière l’IA

Voici un point de préoccupation que certains professionnels ne remarquent peut-être pas. Sommes-nous dominés par l’IA ? Peut-être que la réponse sera « Oui », « Non » ou « Peut-être ». Cependant, cela dépendra du degré de visibilité que nous aurons sur cette technologie ; la réalité est qu’il y a un danger derrière cela, et notre travail consiste donc à savoir comment nous préparer à remédier à ces risques.

Devons-nous présumer de notre place professionnelle et de la manière dont nous devons nous préparer pour maintenir notre employabilité ? Étant donné que les risques d’hallucinations sont toujours possibles et surviennent dans les solutions d’IA, la réponse à une question donnée peut ne pas être exacte, car les méthodes existantes derrière les modèles de diffusion utilisés dans la formation en IA utilisent des techniques de génération de code telles que les « transformateurs » dans les LLM utilisés par la plupart des outils d’IA comme ChatGPT, Gemini et Claude. Pour l’instant, ils ont encore des limites pour valider certaines données avant de fournir la réponse à la question saisie par le demandeur (utilisateur final, API, etc.).

Cela signifie et indique qu’il est encore nécessaire de considérer le facteur humain pour évaluer certaines réponses avant de prendre une décision qui peut impliquer une prise de décision pertinente dans le contexte corporatif et humain, comme par exemple le résultat de l’analyse d’un diagnostic médical nécessite encore une évaluation par un spécialiste, ou dans le cas d’une évaluation quantitative des risques d’un système critique. En fait, c’est un point à méditer !

Une autre question importante à se poser est « jusqu’où devrions-nous limiter et faire confiance à une solution d’IA ? Certes, comme mentionné ci-dessus, de nombreux résultats peuvent être positifs, mais en gardant à l’esprit que chaque organisation doit réfléchir et rester prudente face aux risques en matière de confidentialité, de partialité, d’équité et de transparence à travers les données fournies, entre autres points, qui ont attiré l’attention des professionnels de la sécurité de l’information.

Fondamentalement, le processus d’exécution d’un modèle d’IA est composé de 3 phases :

1. Les données insérées dans une requête.
2. Ces données sont évaluées par un modèle de formation qui implique toute une architecture.
3. Le résultat des informations qui seront délivrées

Du point de vue de la sécurité de l’information. C’est ce point que nous, professionnels de la sécurité de l’information, devons juger dans le cadre de l’évaluation du point de vue de la sécurité des données.

Sur le marché, il existe déjà des frameworks tels que NIST RMF AI, SAIF Google, ISO 42001, AI Control Matrix (AICM) et AI Model Risk Management Framework de Cloud Security Alliance (CSA), en plus de MITRE ATLAS pour la ligne Threat Intelligence et OWASP Top 10 LLM pour la sécurité dans le développement d’applications d’IA, qui présente les principales vulnérabilités connues dans le domaine de l’IA/ML, que j’ai l’intention d’explorer dans un autre article.

J’ai particulièrement étudié l’IA du NIST RMF et le cadre de gestion des risques du modèle d’IA de la CSA et, à mon avis, ils sont efficaces pour aider à cartographier et à ajouter des solutions d’IA/ML à la portée du programme de gestion des cyber-risques de l’organisation. Ces cadres aident à comprendre et cartographier les applications d’IA utilisées, à gérer les risques, les impacts et les dommages qui peuvent survenir avec l’utilisation de cette technologie dans le contexte de l’entreprise.

À propos de l’utilisation des cadres NIST AI RMF et AI Control Matrix (AICM)

En établissant un agenda sur les frameworks les plus populaires, NIST AI RMF 1.0 se concentre sur l’examen du groupe de personnes, de l’organisation et de l’écosystème impliqué. Dans lequel ils sont divisés en phases de

• Gouverner (cultive une culture du risque)
• Cartographie (contexte des risques identifiés et classification des actifs)
• Mesurer (identifie, évalue et atténue les risques)
• Gérer (les risques sont hiérarchisés en fonction de leur impact)

Ce modèle permet l’intégration avec le NIST CSF dans l’optique des contrôles de cybersécurité. La chose la plus intéressante à ce sujet est que le framework est gratuit.

Un autre modèle que je ne peux manquer de mentionner est l’AI Control Matrix (AICM), qui contient 243 objectifs de contrôle répartis en 18 domaines de sécurité et permet d’évaluer tous les piliers de sécurité d’une solution d’IA, notamment dans un environnement cloud.

AICM est intégré à AI-CAIQ, qui couvre des frameworks tels que le catalogue BSI AIC4, NIST AI RMF et ISO 42001. Toute solution d’IA robuste nécessite un traitement et une énergie importants, que l’on ne trouve que dans les centres de données. Pour cette raison, nous avons assisté à d’importants investissements de la part des grandes technologies dans l’expansion de nouveaux centres de données dans toutes les régions.

Par conséquent, une compréhension approfondie des concepts du cloud et des responsabilités partagées est fondamentale pour mettre en œuvre une solution d’IA avec précision, en toute sécurité et qui satisfasse l’entreprise, en tirant parti de la capacité de l’organisation face à la concurrence.

En conséquence, j’ai fait quelques recherches sur GenAI et particulièrement étudié ces frameworks. Face à cela, caractériser et visualiser le grand enjeu pour nous, professionnels de la cybersécurité, est d’établir la pertinence de la connexion entre les équipes impliquées dans un projet d’IA. Par conséquent, la connexion est une priorité pour le succès du projet et, par conséquent, nous ne devons pas négliger l’implication des domaines de la gouvernance, du cyber-risque, de l’éthique, de la réglementation et de la conformité, de la cybersécurité, des data scientists, des développeurs d’IA et de ML, des ressources humaines et des infrastructures et des opérations informatiques.

Les professionnels de la cybersécurité doivent être formés

Un autre grand défi, sur lequel je souligne, est que les professionnels de la cybersécurité doivent être formés à cette technologie IA/ML, en comprenant les aspects techniques de l’architecture, les modèles de formation utilisés, les techniques telles que le RAG (retrieval-augmented Generation) qui proposent des améliorations du modèle et l’application de la stratégie de cybersécurité pour être jugée. Les yeux du RSSI, de l’équipe de cybersécurité et des autres fronts impliqués doivent se pencher sur l’importance des contrôles dans ces domaines :

• Données
• Infrastructure
• Modèle
• Application
• Assurance
• Gouvernance

Regard sur la perspective de responsabilité partagée dans le cloud

Autre facteur à considérer dans le périmètre : je renforce la responsabilité partagée des applications d’IA dans un environnement cloud. Les principes de sécurité des modèles GenAI et des applications respectives doivent tenir compte de la manière dont le modèle d’application IA fonctionnera.

Ici, je souligne quelques points cruciaux pour établir des responsabilités partagées dans le cloud :

• GenAI en tant qu’application (Public, SaaS)
• GenAI en tant que plateforme (IaaS ou PaaS)
• Créez votre propre application d’IA (IaaS, sur site).

Dans ce modèle, à l’aide des cadres mentionnés ci-dessus, il sera possible de cartographier, d’ordonner et de gérer les risques dans la stratégie d’IA adoptée concernant le contrôle d’accès aux modèles de données et de formation, la gestion des données et la formation, les contrôles rapides, le développement de modèles, l’inférence de modèles, la surveillance et l’infrastructure des modèles.

Sortir des sentiers battus

Enfin, le point clé que je souhaite éveiller les lecteurs dans cet article est de les amener à réfléchir à la manière dont nous, les professionnels de la cybersécurité, observons les risques et les impacts dans notre environnement, et à la manière de se préparer à évaluer de telles solutions GenAI dans notre monde réaliste.

J’ai particulièrement exploré certains de ces modèles connus dans un environnement cloud (SaaS), mais je me suis beaucoup amusé avec la solution Anthropic (claude.ai). Dans ce modèle, il est possible de construire des solutions robustes avec du code ; il faut juste être créatif. A titre d’exemple, je lui ai demandé de créer une solution complète de Cyber ​​Risk Management (GRC) et lui ai proposé de la comparer avec certaines solutions du marché et de répondre aux meilleures pratiques telles que PCI-DSS, NIST, CRI, ISO 27001, etc. Pour que la solution crée l’intégralité du back-end, ne manquant que la création du front-end. Un projet qui pourrait prendre des mois peut être réduit à quelques mois ou semaines, selon l’investissement et les efforts de la main-d’œuvre impliquée.

Certifications qui peuvent ajouter de la valeur à une carrière

En conclusion, comme j’ai eu l’occasion de participer en tant que contributeur au programme d’évaluation de la Cloud Security Alliance (CSA), une nouvelle certification a récemment été lancée, Trusted AI Safety Expert (TAISE). Je le recommande vivement à ceux qui souhaitent comprendre et explorer l’architecture et les principaux mécanismes de protection des solutions IA/ML.

Cependant, en tenant compte d’autres certifications dans ce domaine, j’ai également exploré et recommandé le matériel de certification AAISM de l’ISACA, qui à son tour est très intéressant du point de vue de la gouvernance des risques et de la sécurité dans l’IA/ML. Néanmoins, TAISE apporte une racine plus complète dans la portée technique qui intègre également la gestion des risques et la gouvernance dans les environnements cloud, qui constituent le monde réel. L’IA nécessite un traitement important et l’environnement idéal pour fonctionner est le cloud.

Cependant, les deux se complètent et c’est au professionnel d’évaluer la meilleure alternative et la direction à suivre. Comme le dit le sage proverbe : « N’abandonne pas la sagesse et la connaissance, et elle te gardera ; aime-la, et elle te protégera. »

Cet article est publié dans le cadre du Foundry Expert Contributor Network.
Voulez-vous nous rejoindre ?