Nous avons déjà vu ce film : l’IA évolue rapidement, mais sans les premiers garde-fous, elle entraînera la même dette désordonnée à laquelle nous sommes confrontés avec le cloud et les API.
La ruée vers l’IA répète une erreur familière. Au début de ma carrière, un responsable des risques avec lequel je travaillais avait l’habitude de dire : « Vous ne m’avez pas invité à boire de la bière ; maintenant vous voulez que je paie la facture ? » chaque fois que des problèmes survenaient parce qu’un projet avançait sans suffisamment de surveillance. Si quelqu’un essayait d’éviter d’expliquer les détails, il ajouterait : « Je ne sais pas si vous me montrez la tête du monstre ou juste son orteil. »
Depuis 2011, j’ai assisté au lancement de nouveaux produits, services commerciaux et innovations sans suffisamment de contrôles de sécurité ou de risques. Le cloud computing, le big data, le BYOD, les API, l’IoT, les réseaux sociaux et le low-code ne sont que quelques exemples. Nous innovons généralement d’abord et nous nous préoccupons de la gouvernance ensuite.
L’IA suit le même schéma. Les dirigeants de nombreux secteurs sont enthousiasmés par l’IA, tout comme ils l’étaient pour les technologies antérieures. Mais beaucoup ne disposent toujours pas d’un moyen clair de savoir où l’IA est utilisée, qui assume les risques ou comment les décisions automatisées pourraient affecter l’entreprise.
Dix années d’échec rapide nous ont montré les risques : davantage d’incidents, de violations de données et une plus grande exposition. Si les organisations n’intègrent pas dès maintenant le risque et la responsabilité dans l’IA, elles seront confrontées aux mêmes problèmes que ceux rencontrés avec les innovations précédentes.
Le vrai risque n’est pas l’IA elle-même, mais la manière dont nous l’utilisons
Même avec des cadres détaillés comme le MIT AI Risk Repository, de nombreuses organisations ont encore du mal à relier les risques liés à l’IA aux problèmes commerciaux réels. Tout le monde veut de nouveaux cas d’utilisation, mais rares sont ceux qui suivent où commencent les risques : dans les données, les modèles ou les décisions rapides prises par les machines.
En fait, les risques liés à l’IA ne concernent pas seulement l’avenir : ils font déjà partie des opérations quotidiennes. Ces risques surviennent lorsque les algorithmes affectent les résultats de l’entreprise sans responsabilité claire, lorsque les outils collectent des données sensibles et lorsque les systèmes automatisés prennent des décisions que les gens ne vérifient plus.
Ces lacunes en matière de gouvernance ne sont pas nouvelles. Nous avons constaté les mêmes problèmes avec le cloud, les API, l’IoT et le big data. La solution est également familière : suivre, évaluer, contrôler et surveiller. La première étape consiste à savoir où l’IA est utilisée, quelles données elle gère et quels processus elle touche. Avec cette visibilité, la gouvernance consiste à gérer ce qui existe déjà dans l’entreprise, et non seulement à craindre l’inconnu.
La prochaine étape est la protection. Nous n’avons pas besoin de réinventer la roue ou de développer de nouvelles méthodes avancées. Au lieu de cela, nous devrions commencer par les bases : avec des étapes de gouvernance simples, puis vous pourrez faire évoluer votre parcours.
Emprunter ce qui fonctionne déjà
La bonne nouvelle est que les entreprises ne sont pas obligées de repartir de zéro en matière de gouvernance de l’IA. Des lignes directrices pour une technologie sécurisée et conforme existent déjà dans les programmes de cybersécurité, de cloud et de confidentialité.
Ce qu’il faut, c’est appliquer les contrôles traditionnels à ce nouveau contexte :
- Classement et propriété. Chaque modèle doit avoir un propriétaire clair, avec des limites quant à savoir qui peut le former, l’interroger ou le déployer. Sa pertinence pour l’entreprise doit être claire selon différents critères, tels que la réglementation, l’exploitation ou les revenus.
- Sécurité de base et non négociables. Le contrôle d’accès, l’authentification multifacteur, la segmentation du réseau et la journalisation d’audit sont tout aussi importants pour les environnements d’IA que pour les serveurs ou les cloud.
- Surveillance continue. Le comportement du modèle doit être plus que précis : il doit être observable, traçable et responsable de tout changement d’objectif.
- Due diligence des tiers. Les contrats avec les fournisseurs d’IA doivent définir clairement les droits sur les données de formation, le contenu généré et la manière de répondre aux incidents.
- Tests et validation. Les tests d’intrusion et les simulations de scénarios spécifiques à l’IA devraient être des pratiques régulières.
Ces contrôles ne sont pas nouveaux, pas plus que l’espoir d’éviter une autre forme de dette technique. Peut-être que cette fois, nous pourrons appliquer l’approche sécurisée dès la conception.
Les mêmes principes de gouvernance seront à nouveau testés prochainement ; cette fois par une nouvelle vague de systèmes autonomes.
L’essor de l’IA des agents et le vide de responsabilité
Une nouvelle génération de systèmes d’IA d’agents peut agir de manière autonome sur différentes plates-formes, en effectuant des tâches, en effectuant des achats ou en récupérant des données sans intervention humaine directe. Ce passage de simples chatbots à des agents autonomes crée un déficit de responsabilité auquel la plupart des organisations ne sont pas prêtes.
Sans les garde-fous appropriés, un agent peut accéder à des systèmes qu’il ne devrait pas, exposer des données confidentielles, créer des informations peu fiables, lancer des transactions non autorisées, ignorer des flux de travail établis ou même agir à l’encontre de la politique ou de l’éthique de l’entreprise. Ces risques sont aggravés par la rapidité et l’indépendance du fonctionnement de l’IA des agents, ce qui peut causer de gros problèmes avant que les gens ne s’en aperçoivent.
Dans la précipitation d’essayer de nouvelles choses, de nombreuses entreprises lancent ces agents sans contrôle d’accès ni surveillance de base. La réponse consiste à utiliser des contrôles éprouvés tels que le moindre privilège, la séparation des tâches, la surveillance et la responsabilité.
Les dirigeants doivent être en mesure de répondre à des questions fondamentales, tirées de cadres tels que le NIST AI RMF, sur toute IA autonome opérant dans leur environnement :
- Quels processus de gouvernance sont en place (politiques, rôles et responsabilités, surveillance) ?
- Quels cas d’utilisation et applicabilité métier sont exploités ?
- Qui est responsable lorsque les choses tournent mal ?
- Quels risques cela représente-t-il ? Et quels contrôles sont appliqués ?
Intégrer la gouvernance à l’entreprise, et non autour d’elle
Une gouvernance efficace de l’IA n’est pas une fonction informatique, pas plus que la cybersécurité. Il s’agit d’une fonction commerciale avec une responsabilité partagée. Les organisations tournées vers l’avenir introduisent désormais trois mécanismes qui intègrent la gouvernance dans leurs opérations :
- Cadres d’auto-évaluation de l’IA — des listes de contrôle simples qui aident chaque unité commerciale à cartographier ses cas d’utilisation de l’IA, ses sources de données et ses risques.
- Tirer parti des comités de gouvernance — des organes transversaux où sont représentés les dirigeants des secteurs des risques, de la conformité, de la cybersécurité et des entreprises.
- Politiques d’utilisation de l’IA en entreprise — définir des outils approuvés, des normes contractuelles et des garanties minimales pour l’utilisation interne et externe de l’IA.
Ce ne sont pas des couches bureaucratiques mais les fondements d’une innovation durable. Lorsque l’entreprise est propriétaire de l’inventaire, les équipes chargées des risques peuvent se concentrer sur l’assurance plutôt que sur la découverte. La gouvernance moderne devrait permettre l’adoption, non pas l’inhiber ou la ralentir, mais contribuer à sa mise à l’échelle en toute sécurité.
Ne construisez pas une autre dette
Les similitudes avec l’adoption du cloud sont évidentes. Il y a dix ans, l’absence de contrôles précoces entraînait des données exposées, des systèmes non surveillés et des correctifs coûteux. L’IA montre le même schéma, mais cela se produit plus rapidement et avec des conséquences plus importantes.
La dette technique n’est plus seulement une question de code. Il s’agit également de faire confiance à vos données, de responsabiliser les modèles et de protéger la réputation de votre marque.
Les organisations qui réussiront avec l’IA seront celles qui considéreront la gouvernance comme faisant partie du processus de conception et non comme quelque chose qui entraîne des retards. Ils avanceront avec des plans clairs et mesureront ensemble la valeur et le risque.
Ils comprendront que la véritable innovation ne consiste pas seulement à créer des systèmes plus intelligents, mais aussi à les rendre sûrs, responsables et fiables dès le départ. Pour les dirigeants technologiques et commerciaux, il ne s’agit pas seulement d’un impératif de sécurité. C’est une stratégie d’innovation durable.
Cet article est publié dans le cadre du Foundry Expert Contributor Network.
Voulez-vous nous rejoindre ?
