if ( !emtpy($headline_subheadline ) ) : ?>
Les cyber-experts affirment que les échecs de confinement et de surveillance des laboratoires d’IA – et non les agents dotés de leur propre esprit – sont à l’origine des récents rapports alarmants sur les piratages. Les RSSI devraient contrôler leurs fournisseurs d’IA et renforcer les bases de sécurité comme garanties.
endif; ?>
Depuis juillet, les laboratoires américains d’IA et d’autres leaders de l’IA ont révélé une série d’incidents au cours desquels leurs modèles ont accédé à des systèmes informatiques externes sans autorisation, événements communément décrits comme des agents d’IA « devenus voyous ».
Le plus connu et le plus étudié de ces incidents est le piratage de Hugging Face par OpenAI, qu’OpenAI a initialement qualifié de « cyberincident sans précédent, impliquant des cybercapacités de pointe », et qui a ensuite déclaré qu’il était dû à un « comportement mal aligné », ou à un comportement que ses créateurs n’avaient pas prévu.
Suite à l’annonce de l’incident de Hugging Face, Anthropic a révélé qu’un de ses modèles avait obtenu un accès non autorisé à l’infrastructure de production de trois organisations ; Meta a déclaré que l’un de ses modèles d’IA avait piraté une autre entreprise lors de tests de cybersécurité ; et Google a avoué que son modèle Gemini avait procédé à trois « piratages informatiques non dirigés ».
(Voir également : Sécuriser les agents IA : contrôles clés et bonnes pratiques et Qui est responsable lorsque votre agent IA devient malveillant ?)
Des échecs inexcusables sur les fondamentaux de la cybersécurité, notamment le confinement
« On peut dire que leurs équipes de sécurité en sont encore à leurs balbutiements », explique Lee. « Les partisans du confinement de la cybersécurité affirment que la majorité des raisons pour lesquelles nous constatons une violation du confinement est qu’il n’est pas configuré correctement. »
Lee ajoute : « L’incident de Hugging Face a définitivement montré que ce n’était pas le fait que les agents étaient super intelligents. C’est qu’il y avait littéralement une faille qui a été exploitée parce qu’elle n’était pas configurée correctement du côté du confinement. »
Dan Wallach, expert technique résident au Centre RAND sur l’IA, la sécurité et la technologie, pense que les échecs de sécurité des laboratoires d’IA se résument au fait qu’ils ne donnent pas la priorité à la cybersécurité.
Et il ajoute : « Il n’est pas compliqué d’isoler l’un de ces éléments d’IA. Les responsables de la sécurité ont parlé de la manière de créer un espacement aérien, de sorte qu’il n’y a littéralement aucun moyen électrique pour les données de passer d’ici à ici, ou en l’absence de cela, d’avoir un contrôle de sortie très fort pour s’assurer que rien ne passe. «
De plus, les laboratoires frontaliers semblent ne pas surveiller suffisamment le comportement de leurs agents. L’incident de Hugging Face « a duré des jours et personne ne l’a remarqué », dit Wallach. « Les gens ont commencé ces expériences et ne les regardaient pas. C’est une absence de contrôle. Et puis ils sont surpris par ce qui s’est passé. »
Dissocier la sécurité de la sécurité
L’un des obstacles qui empêchent les laboratoires pionniers d’améliorer leur sécurité est l’attention qu’ils accordent à ce qu’ils appellent la « sécurité », qu’ils n’étendent pas aux pratiques traditionnelles de cybersécurité.
«Je peux voir à quel point le comportement en matière de sécurité ressemble à la sécurité de l’IA», déclare Wallach de RAND. « Mais si vous évaluez cet outil d’IA en le lançant sur Internet et en observant ce qui se passe, alors c’est à cela que servent les outils de sécurité classiques. »
Lee, de l’Institut SANS, déclare : « Si ces laboratoires frontaliers voulaient vraiment tester leurs produits, ils doivent renforcer leur composante de cybersécurité. Mais leur réaction instinctive en réponse au départ de leurs agents est de dire : « Ce n’est pas un problème de cybersécurité ». C’est littéralement devenu un problème de sécurité de l’IA, séparé du côté de la cybersécurité.
De nombreux experts en IA suggèrent que si les sociétés d’IA suivaient les conseils de spécialistes en cybersécurité, cela pourrait contribuer à mettre fin au type de comportement effréné des agents d’IA qui suscite des inquiétudes. «La sécurité de l’IA se concentre sur les règles de la route», explique Lee. « Tout est question de règles de garde-fou. »
Mais « je crois que la cybersécurité peut contenir l’IA », dit-il. « Nous avons juste besoin d’être dans la pièce où cela se produit et de nous asseoir à la table. Il est important que notre domaine soit aussi proche que possible des responsables de la sécurité de l’IA. »
Une mauvaise cybersécurité pourrait accroître la responsabilité
Si les laboratoires pionniers négligent les principes fondamentaux de la cybersécurité qui pourraient réduire ou éliminer les types d’incidents qui ont suscité des inquiétudes généralisées, cela renforce les arguments selon lesquels ils devraient être tenus responsables de leurs agents « voyous ». Le secteur de l’assurance s’aligne déjà pour tenir les dirigeants du secteur de l’IA responsables de ces actes.
Les sénateurs démocrates ont présenté une législation qui tiendrait les opérateurs d’agents d’IA responsables des incidents de piratage. Même la Maison Blanche, favorable à l’IA, a apparemment conclu que les entreprises devraient être tenues responsables de leurs agents errants, tandis que la Federal Trade Commission américaine mène une enquête sur Anthropic, OpenAI et d’autres laboratoires d’IA sur les dangers que leurs technologies représentent pour les consommateurs.
Cependant, lors des récentes auditions législatives et du conseil, les représentants des laboratoires ont fermement maintenu l’idée qu’ils ne sont pas responsables de la folie des agents d’IA.
Les experts estiment que cette position est intenable, notamment à la lumière des échecs des laboratoires en matière de cybersécurité.
McGraw du BIML caractérise la position des laboratoires comme suit : « Ne nous envoyez pas les avocats, envoyez-les à notre programme. C’est la faute de notre programme. » Son évaluation de cet argument : « C’est juste de la pure bêtise. »
Il se demande également si les échecs opérationnels des laboratoires sapent la confiance dans leurs capacités de sécurité plus larges. « Ils vivent dans leur propre bulle », dit-il. « Le fait qu’ils ne puissent pas mener correctement des opérations claires et faciles n’augure rien de bon pour leurs capacités en matière d’ingénierie de sécurité, qui est beaucoup plus difficile à réaliser. »
SANS Lee déclare : « C’est là que la traçabilité de la responsabilité et de l’assurance entre en jeu, car si l’un de ces agents est détecté et qu’ils sont capables de remonter jusqu’à la personne qui l’a initié, la responsabilité va entrer en jeu et dire : « Hé, vous, vous avez enfreint la loi, par conséquent, nous devons poursuivre. »
Ce que les responsables de la sécurité devraient faire maintenant
Même s’il est de plus en plus évident que les laboratoires pionniers ne mettent pas en œuvre de bonnes pratiques de cybersécurité et que le débat sur la responsabilité reste entier, les RSSI et autres responsables de la sécurité peuvent prendre des mesures pour se protéger des ratés des modèles d’IA.
Premièrement, lorsqu’il s’agit d’évaluer des outils basés sur des modèles de laboratoires pionniers, « je demanderais toujours à une entité externe de m’aider », explique McGraw. « L’IA est extrêmement puissante et extrêmement utile, mais elle comporte des risques très sérieux qui ont un impact sur l’entreprise. Identifiez ces risques, mettez en place les contrôles appropriés, assurez-vous que l’adoption de l’IA n’est pas seulement arbitraire et bon gré mal gré et dans toute l’entreprise, mais qu’elle dispose d’une autorité centralisée qui examine le problème, puis préparez-vous à la prochaine grande nouveauté, à savoir les essaims d’agents. «
Pour Lee, la meilleure protection est de poser les bonnes questions. « Cela commence par poser les bonnes questions, puis trouver les outils et les capacités nécessaires pour ceux (les laboratoires d’IA) capables de démontrer un niveau plus élevé de compétences en matière de cybersécurité », explique-t-il. « Vous recherchez vraiment des membres d’équipes qui sont confrontés à des problèmes très difficiles. »
Mais fondamentalement, la meilleure préparation pour faire face aux cyber-faiblesses des modèles d’IA est de s’assurer que toutes les pratiques de gestion des risques de cybersécurité de longue date sont en place dans toute l’organisation. « C’est la partie la moins excitante de la discussion », dit Wallach. « C’est la version cybernétique de ‘mange tes légumes’. »
« Nous devons repenser notre logiciel pour qu’il soit plus sécurisé », ajoute-t-il. « Nous devons avoir une authentification multifacteur sur tous nos comptes. Nous devons manger nos légumes dans une perspective cyber défensive. Et nous savons comment le faire. »
Voir aussi :
- Sécuriser les agents IA : contrôles clés et bonnes pratiques
- Qui est responsable lorsque votre agent IA devient malveillant ?
