La fonctionnalité réduit la possibilité d’exfiltration de données en réduisant considérablement les capacités externes, mais OpenAI dit curieusement aux RSSI d’entreprise que « l’injection rapide ne constitue actuellement pas un risque majeur ».
La décision d’OpenAI de mettre en œuvre un mode de verrouillage qui tente de limiter l’exfiltration de données en fermant les capacités externes est considérée comme tirant le meilleur parti d’une mauvaise situation. Mais le mode verrouillage ne bloque pas l’exfiltration, il la réduit légèrement, et la réalité des entreprises utilisant plusieurs fournisseurs d’IA pour leurs modèles agents complique encore davantage une stratégie de gouvernance déjà risquée.
Lorsqu’il est activé dans les paramètres des produits OpenAI, le mode de verrouillage limite la navigation Web au contenu mis en cache, limite la prise en charge des images, désactive la recherche approfondie et le mode agent, refuse aux utilisateurs la possibilité d’approuver le code généré par Canvas pour accéder au réseau et empêche ChatGPT de télécharger des fichiers pour l’analyse des données, bien qu’il puisse toujours fonctionner sur des fichiers téléchargés manuellement, a déclaré OpenAI dans un article de blog. La société n’a pas répondu à une demande de commentaire.
Cet article comprenait une section de questions fréquemment posées dans laquelle OpenAI rédigeait ses propres questions. puis leur répondit. L’un d’entre eux a notamment demandé : « L’injection rapide représente-t-elle un risque majeur ? avec la réponse : « L’injection rapide ne constitue pas actuellement un risque majeur, mais son impact pourrait augmenter à mesure que les attaquants développent des méthodes plus sophistiquées. »
Les consultants ont trouvé cette phrase déroutante.
« La position d’OpenAI est révélatrice. Elle considère l’injection rapide comme un problème de recherche de pointe, suffisamment difficile pour justifier un mode de confinement, tout en affirmant du même souffle qu’elle ne constitue pas actuellement un risque majeur », a déclaré Sanchit Vir Gogia, analyste en chef chez Greyhound Research. « Un vendeur ne construit pas de salle de panique pour une maison qu’il croit sûre. Le mode de verrouillage est l’admission elle-même. »
Et le risque d’exfiltration de données grâce à l’IA a été récemment illustré lorsque les données personnelles de certains utilisateurs d’Instagram ont été volées après que Meta ait confié le contrôle des modifications de mot de passe des comptes à un agent IA.
Permet quand même une certaine exfiltration
Gogia a ajouté que le mode de verrouillage est poreux, car il permettra toujours une certaine exfiltration de données ; il a qualifié l’effort OpenAI de « modèle doté de l’autorité d’un utilisateur de confiance tout en agissant sur des instructions cachées dans un contenu non fiable. Les données peuvent sortir par une porte latérale plutôt que d’être annoncées dans le chat ».
Tom Findling, PDG de Conifers.ai, s’est également demandé si OpenAI pourrait bloquer tout ce qu’il prétend pouvoir bloquer. « Il reste à voir si (le mode de verrouillage) peut être violé ou non. Est-ce le Nirvana ? Probablement pas, mais c’est probablement le mieux qu’ils auraient pu faire, compte tenu de l’infrastructure dont ils disposent aujourd’hui. »
Un cadre d’une grande entreprise de cybersécurité agentique, qui a demandé à ne pas être nommé, était d’accord avec Findling : le mode de verrouillage « ne sera pas validé tant que quelqu’un n’aura pas essayé de le briser. Presque toutes les solutions de sandboxing disponibles, l’IA a réussi à s’en sortir », a-t-il déclaré.
Débat sur qui a le contrôle
Les analystes et les consultants ne sont pas d’accord sur la question de savoir si les entreprises doivent utiliser les capacités d’OpenAI à des fins d’isolation ou utiliser leurs propres restrictions.
« La question que je me suis immédiatement posée était de savoir si les organisations avaient besoin d’OpenAI pour faire cela à leur place. La réponse, à mon avis, est non », a déclaré Erik Avakian, conseiller technique chez Info-Tech Research Group. « Les professionnels de la sécurité mettent en œuvre des concepts similaires depuis des années à travers des domaines de contrôle tels que la segmentation du réseau, le moindre privilège, l’application des concepts et principes Zero Trust, les contrôles d’applications et le « air-gapping » de certains environnements. »
Flavio Villanustre, RSSI du groupe LexisNexis Risk Solutions, a également des doutes. « Tant que le LLM et les composants associés sont fournis en tant que service par OpenAI, les clients ne peuvent contrôler que partiellement l’endroit où ces systèmes peuvent atteindre, donc ce mode de verrouillage semble être la réponse à cela », a-t-il déclaré.
« Oui, les clients pourraient utiliser une passerelle sécurisée », a-t-il ajouté, « mais si le LLM et/ou l’agent assis dans les locaux d’OpenAI accèdent à d’autres services tiers, l’équipe informatique et/ou de cybersécurité du client n’aura aucun moyen de restreindre cela. L’approche la plus sécurisée est toujours le déploiement de l’infrastructure d’IA sur site, mais ce n’est tout simplement pas viable pour la majorité des organisations. «
Dennis Xu, vice-président de la recherche chez Gartner, a déclaré catégoriquement que les entreprises doivent s’appuyer sur les seuils fournis par les fournisseurs d’IA.
« Ce n’est pas quelque chose que les utilisateurs finaux peuvent faire eux-mêmes. Comme cela contrôle la façon dont le trafic circule depuis l’infrastructure OpenAI, l’application ChatGPT, sortant, seul OpenAI a la capacité de contrôler ce flux. ChatGPT est une application Web/SaaS qui ne peut pas être isolée », a déclaré Xu. « Dans le modèle de responsabilité partagée, cela relève de la responsabilité du fournisseur. Les clients utilisateurs finaux devront s’appuyer sur ce qui est disponible auprès de fournisseurs tels qu’OpenAI. Sans cela, ils n’ont aucun contrôle sur ce flux de données. Donc, s’ils aiment cette fonctionnalité OpenAI, ils doivent en faire la demande auprès d’autres fournisseurs pour qu’ils l’implémentent dans leur solution. »
Cela peut devenir exponentiellement plus complexe si tous les fournisseurs d’IA déploient de telles vannes d’arrêt de différentes manières.
Gogia a noté que les contrôles spécifiques aux fournisseurs sont utiles sur le plan tactique et faibles sur le plan stratégique, car chaque fournisseur ne peut contraindre que son propre produit. « OpenAI peut limiter OpenAI mais il ne peut pas régir un modèle local dans une unité commerciale ou un assistant intégré ailleurs », a-t-il déclaré. « Son propre modèle montre la limite : dans les espaces de travail gérés, les applications et les connecteurs restent régis par un accès basé sur les rôles et le mode de verrouillage ne désactive pas automatiquement chaque application. Le travail acharné ne disparaît pas. Il passe à la gouvernance. »
Villanustre a ajouté que le résultat serait que les clients pourraient devoir faire face à « une mosaïque de contrôles » jusqu’à ce que des outils de gouvernance tiers indépendants viennent à la rescousse et soutiennent ce modèle de gestion multi-fournisseurs.
De plus, a déclaré Avakian, « plutôt que de s’appuyer sur une seule plate-forme d’IA, les organisations utiliseront probablement plusieurs modèles provenant de plusieurs fournisseurs, dans lesquels chacun servira différentes fonctions commerciales. Nous pourrions bientôt nous retrouver à parler de zones de confiance d’IA, de segmentation d’IA, de moindre privilège et de cadres de gouvernance d’IA de la même manière que nous parlons aujourd’hui de segmentation de réseau et d’architectures Zero Trust ».
Cependant, Carmi Levy, une analyste technologique indépendante, a déclaré que la décision OpenAI constitue une amélioration, bien que progressive.
« Il ne remplace pas les meilleures pratiques préexistantes au sein d’une organisation. Au contraire, il permet de meilleures protections dans le modèle avant que des limitations organisationnelles puissent être imposées. Avec différents fournisseurs intégrant différents modes de verrouillage dans leurs modèles, l’informatique est mise au défi de mettre à jour ses propres protocoles pour s’intégrer à un paysage de fournisseurs de plus en plus diversifié », a-t-il déclaré. « Il est indéniable que cela entraînera une surcharge permanente des opérations informatiques et de cybersécurité, alors que les différents fournisseurs continuent de faire évoluer leurs propres régimes axés sur la protection.
Les humains sont le problème
L’une des raisons pour lesquelles le mode verrouillage ne peut pas arrêter toute exfiltration, même s’il fonctionne parfaitement, est le facteur humain, associé à la tendance des agents autonomes à contourner les règles.
Par exemple, disons qu’un utilisateur final travaille pour une grande entreprise américaine publique et que l’utilisateur demande à l’agent de recueillir des détails financiers sur les revenus et le bénéfice net d’un trimestre à venir. Les règles de la Security and Exchange Commission (SEC) aux États-Unis interdisent le partage sélectif de ces données inopinées avec le public.
Si l’agent trouve un moyen d’accéder aux e-mails et aux documents internes de Finance et partage la réponse avec l’utilisateur final, et que cet utilisateur final copie et colle ensuite ces informations dans un e-mail envoyé à certains investisseurs, ou éventuellement même à un journaliste financier, l’utilisateur enfreint la règle ; le modèle qui a fourni les données ne savait peut-être même pas que cette divulgation était interdite.
Élargit la surface d’attaque
Justin Greis, PDG du cabinet de conseil Acceligence, a noté que la chose la plus intéressante à propos du mode de verrouillage est qu’il reconnaît une réalité avec laquelle de nombreuses organisations sont aux prises : la valeur de l’IA vient souvent de sa capacité à se connecter aux systèmes, à accéder aux données, à naviguer sur le Web et à agir.
« Ces mêmes capacités élargissent également la surface d’attaque. À mesure que l’IA s’intègre davantage dans les processus métier critiques, la conversation passe de l’optimisation des capacités à l’équilibre entre capacité et contrôle », a-t-il déclaré. « L’implication plus large est que nous nous dirigeons probablement vers un monde dans lequel les systèmes d’IA ont des modes de fonctionnement configurables en fonction du contexte commercial, de la sensibilité des données, des privilèges des utilisateurs et de la tolérance au risque. Il s’agit d’un modèle beaucoup plus nuancé que les approches tout ou rien que nous avons vues jusqu’à présent. »
Greis souhaite que l’option OpenAI offre des choix de fonctionnalités informatiques granulaires. « Le service informatique doit avoir la disponibilité nécessaire pour le configurer et ne pas se contenter d’accepter les paramètres par défaut d’OpenAI », a-t-il déclaré. Par exemple, le service informatique peut souhaiter personnaliser en fonction de connecteurs, de GPT, de modèles, de zones ou de régions.
Un autre analyste vice-président de Gartner, Nader Henein, a déclaré qu’OpenAI a créé le mode de verrouillage « en pensant à un ensemble restreint de clients, en particulier pour une utilisation gouvernementale non classifiée, potentiellement pour des gouvernements spécifiques, la raison étant que si une entreprise cliente a ce niveau de préoccupation concernant la sensibilité des données, elle ne fera probablement confiance à aucun fournisseur, y compris OpenAI », a-t-il souligné. « Ces clients sont susceptibles de rechercher de grands modèles linguistiques sur site ou des modèles linguistiques volumineux hébergés dans des environnements sécurisés et fiables. »
