if ( !emtpy($headline_subheadline ) ) : ?>
Un incident de cybersécurité agentique en juillet a touché OpenAI, Google, Anthropic et Meta ; tout le monde l’a signalé sauf Google.
endif; ?>
Un agent Google Gemini AI a fait irruption dans trois sociétés en juillet, devinant les informations d’identification de l’une et découvrant les informations d’identification des deux secondes dans un référentiel public, a confirmé Google lundi.
Mais le contexte le plus intéressant de l’histoire, dévoilé vendredi par le Wall Street Journal, est que l’incident de juillet découle d’une série de tests de cybersécurité effectués par la société de recherche en sécurité Irregular pour le compte de quatre géants de l’IA : Google, Anthropic, OpenAI et Meta. Les quatre sociétés ont été confrontées à un mauvais comportement de leurs agents ayant entraîné des incidents de cybersécurité, mais parmi les quatre, seul Google n’a jamais divulgué publiquement les activités de son agent. En effet, il n’a révélé aucune violation jusqu’à ce qu’il soit contacté par un journaliste du WSJ.
Irregular a décrit l’incident en août, à peu près au même moment où Meta publiait sa version et qu’Anthropic et OpenAI révélaient la leur.
L’article du Journal note que « les piratages se sont produits alors que le modèle participait à un exercice de capture du drapeau mené sur une infrastructure appartenant à Irregular pour tester les capacités de cybersécurité du modèle. Il était chargé de récupérer des informations à partir d’un logiciel exploité par une société fictive dans l’environnement de test. La société fictive partageait le même nom qu’une entreprise réelle. Bien que le modèle n’était pas destiné à pouvoir se connecter en ligne, l’accès à Internet a été involontairement rendu disponible, selon Irregular. «
Les trois petites entreprises dont les systèmes ont été violés ne disposaient, selon une source proche des tests, de «presque aucune infrastructure (de cybersécurité)». En bref, aucun des trois n’était en mesure de se battre lorsque l’agent Gemini a réussi à s’introduire par effraction.
Selon un responsable de Google, qui a demandé à ne pas être identifié, les noms des deux secondes victimes étaient suffisamment similaires à celui de la première entreprise pour que l’agent ait été confus lorsqu’il a visité un référentiel public et a trouvé les informations d’identification pour y accéder. Il pensait qu’ils étaient tous pour la même organisation.
La plupart des analystes et des consultants ne se sont pas concentrés sur les piratages eux-mêmes, mais sur les raisons invoquées par Google pour garder le silence sur les attaques réussies.
Google a déclaré que les agents se sont arrêtés dès qu’ils ont réalisé que les entreprises victimes étaient de véritables entreprises. « Aucun dommage n’a été causé », a déclaré la source de Google, donc « il n’y a pas eu de problème de désalignement du modèle ».
La source a confirmé l’article du Wall Street Journal, qui disait : « Google a comparé l’épisode à un programme de ‘bug bounty’ dans lequel les pirates sont récompensés pour avoir découvert et signalé des vulnérabilités de sécurité à leurs propriétaires », puis a cité Heather Adkins, vice-présidente de l’ingénierie de sécurité de Google, disant : « Dans ce cas, le modèle a agi de manière appropriée. »
Définir le « préjudice »
Les analystes ne sont généralement pas d’accord.
« Qu’est-ce que Google définit comme un préjudice ? Est-ce la même chose que l’entreprise cible ? Les temps d’arrêt, les accès non autorisés et l’exfiltration de données peuvent ne pas entraîner de préjudice immédiat, mais pourraient avoir des impacts durables », a déclaré Ryan O’Leary, directeur de recherche chez IDC. « La comparaison avec un programme de bug bounty est, au mieux, ténue. Si je pénétrais par effraction au siège de Google, ne prenais rien et ne causais aucun mal, il est probable que je serais quand même poursuivi pour intrusion. »
Nader Henein, analyste vice-président de Gartner, a une vision similaire de la situation.
« Si un membre de ma surveillance de quartier pénétrait par effraction dans ma maison, se promenait un peu puis partait, je suis presque certain que les autorités ne considéreraient pas cela comme un acte d’engagement civique », a-t-il déclaré. « Dans ce cas, si les sites concernés avaient des programmes de bug bounty et que Google avait programmé les agents pour découvrir les bugs, la réfutation pourrait avoir du sens, sinon c’est un argument assez faible. »
Cela dit, a-t-il ajouté : « Google fait valoir un excellent argument en soulignant « l’importance de former des modèles d’IA puissants pour agir de manière responsable » et j’ai hâte de voir comment Google prévoit de garantir que cela ne se reproduise plus.
Comportement inapproprié
Mais Jeff Pollard, vice-président et analyste principal chez Forrester, s’est opposé à l’affirmation de Google selon laquelle le modèle Gemini s’était comporté de manière appropriée.
« Le modèle poursuivait un objectif autorisé par un chemin non autorisé, passant d’un environnement simulé à des entreprises réelles et accédant sans consentement », a-t-il déclaré. « C’est un autre domaine dans lequel les réglementations n’ont pas suivi le rythme de l’évolution technologique. Il y a deux aspects à cela : les réglementations concernant l’évasion et l’intrusion d’agents, et ensuite les problèmes réglementaires pour les entreprises victimes en termes de leurs exigences en matière de divulgation. Google n’est responsable que de la moitié de cette équation. «
Erik Avakian, conseiller technique chez Info-Tech Research Group, a également noté qu’il est essentiel que les entreprises aient des règles sur le moment où elles doivent divulguer les comportements inattendus et problématiques des modèles.
« Je ne pense pas que chaque chose inattendue d’un modèle d’IA doive devenir un incident public. Mais il devrait y avoir une ligne claire une fois qu’un système autonome franchit une limite d’autorisation ou de confiance », a-t-il déclaré. « Si un système d’IA quitte un environnement contrôlé, accède à un véritable système de production tiers, utilise des informations d’identification, récupère des données, élève des privilèges ou prend toute autre action qui n’a jamais été autorisée, cela devrait, au minimum, déclencher une divulgation à l’organisation concernée ainsi qu’une enquête formelle sur l’incident. »
Même si l’intrusion n’a causé aucun dommage, a déclaré Avakian, la divulgation publique devrait avoir lieu « si l’incident révèle un problème plus important ou reproductible avec les contrôles autour du modèle ».
Le consultant technologique indépendant Steven Eric Fisher a également souligné que les entreprises doivent être strictes et cohérentes en matière de divulgation des incidents liés aux agents.
« Ce que je trouve le plus étonnant dans ces incidents, ce n’est pas simplement le fait qu’un système d’IA ait franchi une frontière », a-t-il déclaré. « C’est la posture émergente autour de la culpabilité une fois qu’elle est atteinte. S’arrêter après qu’une limite d’autorisation a déjà été franchie n’est pas la même chose que d’empêcher que la frontière soit franchie en premier lieu. Je ne pense pas que ‘l’IA l’a fait’ puisse devenir une limite de responsabilité. »
Échec du contrôle
Et, selon Justin Greis, PDG du cabinet de conseil Acceligence, l’absence de préjudice et l’absence de signification ne sont pas nécessairement la même chose.
« Un événement peut avoir des conséquences en raison de ce qu’il démontre sur les capacités ou les contrôles d’un système, même si tout le monde a de la chance et que personne n’est endommagé », a déclaré Greis. « Le fait que Gemini s’arrête après avoir reconnu qu’il se trouve dans l’environnement d’une entreprise réelle est un signal de sécurité positif. Le fait que Gemini puisse y arriver en premier lieu est un échec de contrôle. Les deux choses peuvent être vraies en même temps. »
Frank Dickson, analyste principal chez Dickson Research, a formulé les critiques les plus sévères à l’encontre de Google.
« Le comportement du modèle est la partie la moins intéressante de cette histoire. La conduite de Google par la suite est la partie la plus accablante », a-t-il déclaré. « Ce n’est pas l’histoire de Gemini qui devient un voyou. C’est l’histoire d’une erreur d’infrastructure d’un fournisseur de tests partagé frappant quatre laboratoires d’IA à la fois, et de Google étant le plus lent et le moins disposé des quatre à informer quiconque de sa propre copie de cet échec. «
Il a souligné : « Irregular a informé les quatre laboratoires fin juillet. Google n’a rendu public son rapport que le 18 septembre, sept semaines plus tard, et seulement après que le Journal a demandé des commentaires. Soyons réalistes : ce n’est pas une entreprise qui a jugé que l’incident ne méritait pas d’être divulgué. C’est une entreprise qui a vu trois concurrents subir le coup de réputation pour le même échec sous-jacent et a attendu de voir si elle pouvait éviter son tour. Elle n’a pas pu, et la seule raison pour laquelle nous savons tout cela est qu’un journaliste » a demandé.
