En s’assurant que quelques fondamentaux de sécurité sont en place, les entreprises peuvent faire confiance à ces applications lors de leur déplacement dans toute l’organisation.
La montée en puissance de l’IA générative (Genai) au cours des deux dernières années a entraîné un tourbillon d’innovation et une augmentation massive de la demande des entreprises dans le monde pour utiliser cette technologie transformatrice. Cependant, avec cette volonté d’innovation rapide, des risques accrus, car la pression pour construire rapidement conduit souvent à couper les coins autour de la sécurité. De plus, les adversaires utilisent désormais Genai pour évoluer leurs activités malveillantes, rendant les attaques plus répandues et potentiellement plus dommageables que jamais.
Pour relever ces défis, sécuriser les applications d’entreprise qui utilisent Genai nécessitent la mise en œuvre de contrôles de sécurité fondamentaux pour protéger l’infrastructure de la colonne vertébrale. Cette infrastructure alimente les applications et a accès à de grandes quantités de données d’entreprise sur lesquelles les applications s’appuient. En garantissant que ces fondamentaux de sécurité sont en place, les entreprises peuvent faire confiance à ces applications lors de leur déplacement dans toute l’organisation.
La prochaine évolution du Genai: l’émergence des agents de l’IA
L’évolution du Genai passe rapidement d’un moteur de création de contenu et d’un copilote pour que les humains deviennent des agents autonomes capables de prendre des décisions et d’effectuer des actions en notre nom. Bien que les agents de l’IA ne soient pas largement utilisés dans les principaux environnements de production aujourd’hui, les analystes prédisent leur adoption rapide dans un avenir proche en raison des énormes avantages qu’ils apportent aux organisations. Ce changement introduit des défis de sécurité importants, en particulier dans la gestion des identités de machines (agents d’IA) qui peuvent ne pas toujours fonctionner de manière prévisible.
À mesure que les agents de l’IA deviennent plus répandus, les entreprises seront confrontées à la complexité de la sécurisation de ces identités à grande échelle, impliquant potentiellement des milliers ou même des millions d’agents fonctionnant simultanément. Les principales considérations de sécurité comprennent l’authentification des agents d’IA à divers systèmes (et à d’autres agents de l’IA), la gestion et la limitation de leur accès et la garantie de leur cycle de vie sont contrôlées pour empêcher les agents voyous de conserver un accès inutile. De plus, il est crucial de vérifier que les agents de l’IA remplissent leurs fonctions prévues au sein des services qu’ils sont conçus pour soutenir.
Alors que cette technologie continue d’évoluer, plus d’informations émergeront sur les meilleures pratiques pour intégrer les agents d’IA dans les systèmes d’entreprise en toute sécurité. Cependant, ce qui est clair, c’est que la sécurisation de l’infrastructure backend alimentant vos implémentations Genai sera une condition préalable à l’exécution d’agents d’IA sur une plate-forme intrinsèquement sécurisée.
Relever les défis de sécurité émergents
La première chose qui peut vous venir à l’esprit lorsque l’on considère la sécurité du Genai est la nécessité de garantir ces technologies nouvelles et passionnantes à mesure qu’elles émergent dans le monde réel. Ce sont des défis importants en raison du rythme rapide du changement, de l’introduction de nouveaux types de services et capacités et de l’innovation continue.
Comme pour toute période d’innovation importante, les contrôles et pratiques de sécurité doivent être adaptés. Dans certains cas, l’innovation peut être nécessaire pour relever les défis qui n’existaient pas auparavant. La montée en puissance du Genai ne fait pas exception, apportant des problèmes de sécurité uniques qui exigent une innovation continue. Un exemple consiste à protéger les applications alimentées par Genai contre les attaques telles que l’injection rapide. Ces attaques peuvent amener l’application à exposer des données sensibles ou à effectuer des actions involontaires.
Cependant, il est important de se rappeler que, comme toute application, les applications alimentées par Genai sont construites sur des systèmes et bases de données sous-jacents. Les applications d’entreprise utilisant Genai seront vulnérables à des attaques potentiellement dévastatrices si cette infrastructure de colonne vertébrale n’est pas sécurisée de manière appropriée. Les attaquants peuvent divulguer de grandes bandes de données sensibles, des données de poison, manipuler le modèle d’IA ou perturber la disponibilité du système et l’expérience client.
De nombreuses identités nécessitent un accès à l’infrastructure backend, chacune représentant un niveau élevé de risque et des cibles probables pour les attaquants. Les violations liées à l’identité restent la principale cause de cyberattaques, donnant aux attaquants un accès non autorisé aux systèmes et données sensibles. La reconnaissance de ces identités, leurs rôles, les exigences d’accès et leur sécurisation sont des priorités critiques.
Heureusement, les mesures pour sécuriser les identités au sein de cette infrastructure de l’épine dorsale sont les mêmes meilleures pratiques de sécurité de l’identité que vous utilisez probablement pour protéger d’autres environnements, en particulier votre infrastructure cloud, où la plupart des composants du Genai seront déployés.
Inside applications alimentées par l’entreprise Genai
Avant de plonger dans les contrôles de sécurité et l’approche recommandés, passons en revue brièvement certains des composants clés et des éléments constitutifs des applications alimentées par Genai, ainsi que les identités qui interagissent avec ces composants. Cet aperçu n’est pas destiné à être complet mais comprend certaines approches et domaines essentiels à considérer, en particulier pour les composants et les services généralement hébergés ou gérés par votre organisation.
Voici quelques composants critiques à considérer:
- Interfaces d’application: Les API agissent comme des passerelles pour que les applications et les utilisateurs interagissent avec les systèmes Genai. La sécurisation de ces interfaces est essentielle pour éviter un accès non autorisé et garantir que seules les demandes légitimes sont traitées.
- Modèles d’apprentissage et LLMS: Ces algorithmes analysent les données pour identifier les modèles et faire des prédictions ou des décisions en fonction de ces données. Ils sont formés sur de grandes quantités de données pour développer des applications puissantes. La plupart des entreprises utiliseront un ou plusieurs LLM de premier plan des principaux acteurs mondiaux tels que OpenAI, Google et Meta. Les données publiques forment les LLM, mais pour développer des applications de pointe hautement performantes, vous devez également les former sur les données uniques qui donnent à votre entreprise un avantage concurrentiel.
- Données d’entreprise: Les données alimentent l’IA, les algorithmes et les informations d’apprentissage automatique de conduite. Tirer parti des données internes d’entreprise est essentielle pour développer des applications uniques et percutantes alimentées par l’entreprise Genai. La protection des informations sensibles et confidentielles contre les fuites ou les pertes est une préoccupation majeure et une condition préalable pour déployer ces applications.
- Environnements de déploiement: Que ce soit sur site ou dans le cloud, sécurisez les environnements où vous déployez des applications AI avec des mesures de sécurité d’identité strictes.

En fin de compte, les technologies, les services et les bases de données dans votre environnement cloud ou votre centre de données forment l’infrastructure backend derrière les applications alimentées à Genai, et vous devez les protéger comme tous les autres systèmes.
La mise en œuvre de mesures de sécurité d’identité robustes pour chacun de ces éléments est essentielle pour atténuer les risques et assurer l’intégrité des applications Genai.
Implémentation de contrôles de sécurité des identités robustes
Diverses identités ont des niveaux élevés de privilège pour les applications Genai d’entreprise Genai qui alimentent les infrastructures critiques. Si leur identité était compromise et que l’authentification contournait, elle laisse une énorme surface d’attaque et plusieurs voies d’entrée à un attaquant potentiel. Ces utilisateurs privilégiés vont au-delà du Équipes des opérations informatiques et cloud qui construisent et gèrent l’infrastructure et l’accès. Ils incluent (et ne sont pas limités à):
- Utilisateurs professionnels affecté à analyser les tendances des données, à saisir leur expertise et à fournir une validation.
- Data scientifiques Développer des modèles, préparer des ensembles de données et analyser les données.
- Développeurs et Ingénieurs DevOps qui gèrent les bases de données et, avec les équipes informatiques, sont responsables de la construction et de la mise à l’échelle de l’infrastructure backend, directement ou via des scripts automatisés.
Une identité de développeur détournée pourrait accorder un accès à lecture et écriture privilégiés à l’attaquant aux référentiels de code sensibles, aux fonctions d’administration de l’infrastructure de cloud de base et aux données confidentielles d’entreprise.
Nous devons également nous rappeler que cette épine dorsale du Genai est étendue avec identités de la machine qui permettent aux systèmes, aux applications et aux scripts d’accéder aux ressources, à accéder et à traiter les données, à créer, à gérer et à mettre à l’échelle l’infrastructure, à mettre en œuvre les contrôles d’accès et de sécurité et plus encore. Comme pour les environnements informatiques et cloud les plus modernes, vous pouvez supposer qu’il y aura plus de machine que les identités humaines.
Avec des enjeux aussi élevés, à la suite d’une fiducie zéro, la suppression de la violation est essentielle. Les contrôles de sécurité doivent aller au-delà de l’authentification et du contrôle d’accès basé sur les rôles (RBAC), garantissant qu’un compte compromis ne laisse pas une grande surface d’attaque vulnérable.
Considérez les contrôles de sécurité d’identité suivants pour tous les types d’identités décrites ci-dessus:
- Appliquant une solide MFA adaptative pour tout l’accès des utilisateurs.
- Sécuriser l’accès, l’utilisation d’audit et les références, les clés, les certificats et les secrets réguliers utilisé par les humains et les applications ou scripts backend. Assurez-vous que les clés API ou les jetons qui ne peuvent pas être automatiquement tournés ne sont pas attribués en permanence et que seuls les systèmes et services minimaux nécessaires sont exposés.
- Implémentation de zéro privilèges debout (ZSP) Peut aider à garantir que les utilisateurs n’ont aucun droit d’accès permanent et ne peuvent accéder qu’à des données et assumer des rôles spécifiques si nécessaire. Dans les domaines où ZSP n’est pas une option, visez à mettre en œuvre l’accès au moins de privilèges pour minimiser la surface d’attaque en cas de compromis utilisateur.
- Séances d’isolement et d’audit pour tous les utilisateurs qui accèdent aux composants de la squelette Genai.
- Surveillant de manière centralisée tout le comportement de l’utilisateur pour la criminalistique, l’audit et la conformité. Enregistrer et surveiller toutes les modifications.
Équilibrer la sécurité et la convivialité dans les projets Genai
Lorsque vous planifiez votre approche pour mettre en œuvre les contrôles de sécurité et de privilèges, il est crucial de reconnaître que les projets liés à Genai seront probablement très visibles au sein de l’organisation. Les équipes de développement et les initiatives d’entreprise peuvent considérer les contrôles de sécurité comme des inhibiteurs dans ces scénarios. La complexité augmente car vous devez sécuriser un groupe diversifié d’identités, chacun nécessitant différents niveaux d’accès et utilisant divers outils et interfaces. C’est pourquoi les contrôles appliqués doivent être évolutifs et sympathiques à l’expérience et aux attentes des utilisateurs tout en s’assurant qu’ils n’ont pas un impact négatif sur la productivité et les performances.