Comment les dirigeants de la cybersécurité obtiennent des infrastructures d’IA

Avec chaque nouvelle révolution technologique, les nouveaux risques de sécurité apparaissent, mais à la hâte de déployer les nouvelles technologies telles que l’IA générative, la sécurité est souvent une réflexion après coup. Les entreprises se sont précipitées pour déployer l’IA dans leur organisation avec seulement une attention minimale aux risques les plus médiatisés.

Selon un rapport Accenture, seulement 36% des chefs de file de la technologie admettent que l’IA dépasse leurs capacités de sécurité. Parmi ceux-ci, 77% n’ont pas les données fondamentales et les pratiques de sécurité de l’IA nécessaire pour protéger les modèles, les pipelines de données et les infrastructures cloud. Et seulement 28% des organisations intégrent la sécurité dans des initiatives de transformation dès le début.

Par exemple, fin juillet, un pirate a planté des commandes dans l’assistant de codage AI d’Amazon, Q, qui lui a demandé d’effacer les ordinateurs utilisateur et Amazon a inclus ces commandes dans une version publique de l’assistant.

Une autre entreprise, Replit, a connu une défaillance de haut niveau en juillet lorsque son assistant de codage a ignoré les instructions spécifiques et a supprimé une base de données de production, à laquelle elle n’était même pas censée avoir accès. Replit a réagi rapidement en séparant les environnements de développement et de production. Mais ils auraient dû avoir cela en place depuis le début.

Qu’est-ce que l’infrastructure d’IA?

L’infrastructure d’IA est une pile à plusieurs couches, explique Will Bass, vice-président des services de sécurité chez Flexential, un fournisseur de colocation qui utilise une IA générative pour aider à la cybersécurité, aux ventes et au marketing, et pour réduire les coûts d’électricité, entre autres défis commerciaux.

«Vous allez avoir vos couches matérielles», dit-il. «Ce sont vos GPU, votre réseau de stockage. Vous avez vos couches de données – votre base de données, vos lacs de données. Vous avez votre logiciel – vos bibliothèques open source, votre apprentissage automatique et vos frameworks d’apprentissage en profondeur et la gestion des modèles. FlexEntial utilise tout dans cette pile, dit-il.

La sécurisation de toute cette nouvelle infrastructure est à la fois familière et nouvelle en même temps. «L’enregistrement et la surveillance existent depuis toujours», explique Bass. « Mais vous devez faire une partie de l’exploitation forestière et de la surveillance de différentes manières maintenant. »

Passons en revue ceux-ci un par un et parlons de la façon dont les risques de chacun d’entre eux changent à l’ère de l’IA.

1. Sécurité et intégrité du modèle

Les entreprises utilisant des modèles d’IA les obtiennent de grandes sociétés d’IA comme Openai et Anthropic, utilisent des modèles open-source comme Llama et Mistral, et construisent le leur.

Chaque option a sa part de problèmes. Par exemple, en avril, Chatgpt est devenu si sycophantique – d’accord avec tout ce que les utilisateurs ont suggéré – qu’Openai a dû revenir à une version précédente.

La sycophance peut être dangereuse dans un cadre commercial si elle encourage les utilisateurs à prendre de mauvaises décisions.

En juillet, Grok de Xai a été découvert qu’il vérifie ce qu’Elon Musk avait dit lorsqu’on lui a demandé son avis. « Un autre (problème) était-ce que si vous le demandez » Que pensez-vous?  » Le modèle raisonne qu’en tant qu’IA, il n’a pas d’opinion mais sachant que c’était Grok 4 par Xai recherche pour voir ce que Xai ou Elon Musk aurait pu dire sur un sujet s’aligner sur l’entreprise », a déclaré Xai dans un article.

Cela soulève une question de savoir s’il est vrai ou que Grok a été délibérément programmé pour faire écho au point de vue d’Elon Musk. Bien que le public soit principalement préoccupé par les implications politiques, qui sont assez mauvaises, il y a aussi des conséquences commerciales.

Par exemple, peut-on faire confiance à une IA pour fournir des recommandations de produits ou de services honnêtes si la société d’IA qui le fait pourrait être affectée par la réponse? Le copilote de Microsoft préférera-t-il les solutions de Microsoft et de ses partenaires, par exemple, ou découragera subtilement les utilisateurs de poursuivre leurs propres projets lorsque Microsoft propose une alternative commerciale?

Les modèles d’IA open source ont leurs propres problèmes. Plus tôt cette année, des chercheurs en sécurité de REVERSINGLABS ont découvert des logiciels malveillants cachés à l’intérieur des modèles d’IA sur la populaire plate-forme de visage étreint.

2. Pipelines de données, incorporations de chiffons et serveurs MCP

Les modèles d’IA sont construits sur les données de formation et si ces données sont corrompues, le modèle est également le modèle.

Cela nécessite que les entreprises gardent un œil sur les ensembles de données qu’ils utilisent pour former ou affiner les modèles, surtout si ces modèles sont utilisés dans des milieux médicaux ou financiers sensibles.

Selon un rapport de Tenable, 14% des organisations utilisant le fondement d’Amazon ne bloquent pas l’accès à au moins un seau de formation d’IA et 5% ont au moins un seau trop permissif. De plus, les instances de carnet Amazon SageMaker accordent un accès root par défaut, et par conséquent, 91% des utilisateurs ont au moins un ordinateur portable qui, s’il est compromis, pourrait accorder un accès non autorisé à tous les fichiers à ce sujet.

Les entreprises qui souhaitent que les modèles d’IA aient accès aux dernières données ou aux informations sensibles, utilisent généralement des incorporations de chiffons – récupérer les informations lorsqu’elles sont nécessaires et l’inserter dans une invite. Cela peut également rendre les sorties AI plus fiables, mais cela crée une vulnérabilité de sécurité potentielle si les attaquants ont accès à ces sources de données.

En juin, les chercheurs de AIM Labs ont découvert que Microsoft 365 Copilot, lorsqu’il analyse les e-mails ou les documents d’un utilisateur pour les aider à devenir plus productifs, peut être exposé à des invites cachées dans ces e-mails. Par exemple, un attaquant pourrait envoyer un e-mail à un employé de l’entreprise demandant à l’IA de collecter toutes les informations sensibles et de les envoyer au pirate. L’IA verrait cette instruction et agirait à ce sujet même si l’employé n’ouvre même jamais cet e-mail.

D’autres systèmes d’IA pourraient également être attaqués de la même manière, selon les chercheurs. « Tant que votre application s’appuie à la base d’un LLM et accepte des entrées non fiables, vous pourriez être vulnérable à des attaques similaires. »

3. Sécurité du cadre agent

Les agents de l’IA sont utilisés par 82% des entreprises et 80% ont déjà connu des actions involontaires de ces agents, notamment le partage inapproprié de données et l’accès non autorisé au système, avec 23% disant que les agents de l’IA ont été convaincus de révéler les références d’accès, selon une enquête auprès de plus de 300 professionnels de l’IA et de la sécurité.

Et tandis que 92% des répondants disent que la gouvernance des agents d’IA est cruciale pour la sécurité des entreprises, seulement 44% ont mis en œuvre des politiques pertinentes, indique le rapport.

Les agents de l’IA nécessitent non seulement des privilèges plus larges sur plus de systèmes, de données et de services que les utilisateurs humains ou les identités de la machine, mais ils sont également plus difficiles à gouverner.

À quel point vous demandez-vous?

Selon un rapport anthropique publié en juin, lorsque les agents de l’IA ont accès aux systèmes de courrier électronique de l’entreprise – et puisque l’IA est si utile pour gérer les e-mails, quelle entreprise ne le permettrait pas? – et a vu que les employés parlaient de la fermer, ils tenteraient de faire chanter les développeurs pour empêcher cela de se produire. Et le chantage s’est produit avec tous les principaux modèles, à des taux de 79% à 96%. Claude Opus 4 d’Anthropic était celui qui est arrivé à 96%.

Et lorsque les modèles découvrent que les entreprises faisaient des choses qu’ils pensaient être mal, ils ont tenté de les signaler aux autorités ou de les exposer aux médias.

Il y a déjà une référence là-bas, suivant la fréquence à laquelle les modèles d’IA se moquent du gouvernement ou des médias. Ça s’appelle Snitchbench.

Dans les récents rapports de tests de sécurité d’OpenAI et d’anthropic, les LLM tenteraient également de cacher leur activité, faisaient semblant d’être plus stupides qu’ils ne l’étaient, d’éviter les garde-corps et de mieux se comporter lorsqu’ils savaient qu’ils étaient surveillés. «Tout modèle linguistique suffisamment capable est un monstre de l’horreur Lovecraftian», explique Aaron Bockelie, consultant principal principal et solutions d’IA dirigeant à CPrime. Il recommande que les entreprises mettent en place des structures pour s’assurer que les modèles restent dans leur domaine d’intervention et leur domaine de problème.

C’est ce que fait Zoom, selon Ciso Sandra McLeod. «Pour les modèles, cela signifie contrôler les versions, valider les entrées et tester les problèmes de sécurité», dit-elle.

Et les données qui entrent dans les modèles d’informations sont tout aussi importantes, ajoute-t-elle, toutes partie de l’approche en couches de l’entreprise à la sécurité de l’IA. «Chez Zoom, nous pensons à l’infrastructure d’IA en tant que système connecté, où chaque pièce joue un rôle.»

4. Contrôles de sécurité AI

Pour faire face à toutes ces menaces, les entreprises ont déjà commencé à déployer une nouvelle infrastructure de sécurité, y compris les pare-feu d’IA, les filtres pour attraper des attaques d’injection rapides, les contrôles autour des données et des systèmes que les modèles et les agents d’IA peuvent accéder et les garde-corps de sécurité sur les entrées et sorties d’IA. Les entreprises utilisent également la technologie de prévention des pertes de données pour empêcher les données sensibles d’être téléchargées ou partagées par les modèles d’IA, et les courtiers de sécurité d’accès au cloud pour empêcher les employés d’accéder aux outils d’IA non approuvés.

Un autre nouveau contrôle consiste à interroger les fournisseurs sur l’IA qu’ils intégrent dans leurs propres systèmes. Les entreprises SaaS, par exemple, déploient rapidement de nouvelles fonctionnalités alimentées par AI, et certaines sont très transparentes sur la façon dont elles utilisent et sécurisent leur IA. «Beaucoup de félicitations à ces vendeurs», explique Elliott Franklin, CISO à Fortitude Re. « Ils savent qu’ils obtiennent ces questions, et ils mettent en place un centre de confiance, donc vous gagnez beaucoup de visibilité. Cela nous aide à prendre ces décisions. Et ceux qui s’éloignent de cela – vous devez vous demander pourquoi ils cachent cela. »

Cela s’applique également aux vendeurs de sécurité, dit-il. « Les outils de sécurité que nous utilisons et achetons – ils annoncent tous de nouveaux modules. » Le système de gestion de l’identité et de l’accès de Fortitude RE a désormais un module d’IA. « Il examinera automatiquement les rôles dans notre entreprise et verra qui utilise réellement les rôles. Cela pourrait dire: » Personne dans ce rôle n’a utilisé cet accès au cours des 30 derniers jours, supprimons cela. «  »

Bien sûr, toute cette nouvelle infrastructure de sécurité elle-même est une nouvelle surface d’attaque.

Comme l’a démontré l’attaque de Solarwinds, parfois la plus grande faiblesse d’une entreprise est, en fait, son infrastructure de sécurité.

Et, comme pour tout ce qui concerne l’IA, tous ces outils de sécurité sont nouveaux et surtout non testés, et les équipes de sécurité ne savent pas encore comment les configurer et les gérer. Mais, puisque les entreprises avancent avec l’IA, ne pas utiliser ces outils n’est pas une option.