Les recherches de Netcraft montrent que les URL de la marque générée par l’IA sont souvent erronées, certains pointant des sites de phishing. Les experts appellent des garde-corps de validation du domaine.
Les grands modèles de langue (LLM) envoient avec désinvolture les utilisateurs aux mauvaises adresses Web, y compris des sites non enregistrés, inactifs et même malveillants, lorsqu’on leur a demandé où se connecter pour un contenu de marque spécifique.
Dans une nouvelle étude de Netcraft, les chercheurs ont constaté que lorsqu’ils demandaient à un LLM populaire où se connecter à des marques bien connues, 34% des URL qu’il donnait n’étaient pas appartenant à ces marques. Pire encore, l’un des liens a mené directement à un site de phishing actif.
« La recherche montre l’importance de la vigilance contre les pirates imitant les URL de marque bien reconnue pour accéder à des informations sensibles et / ou à des comptes bancaires », a déclaré Melinda Marks, analyste principal chez Enterprise Strategy Group. «Les entreprises, en particulier les marques plus grandes et établies, devraient protéger leur réputation en communiquant avec les clients sur les URL pour faire confiance aux communications importantes et à sécuriser les transactions.»
La recherche Netcraft a souligné que près de 30% des URL voyous n’étaient pas enregistrées ou inactives, ce qui en fait des biens immobiliers principaux pour les acteurs de menace qui cherchent à créer des sites malveillants.
Les invites utilisées n’étaient même pas obscures et reflétaient la façon dont les gens demandent naturellement de l’aide en ligne, a noté l’analyste de Netcraft, Bilal Rashid, ajoutant que le risque est systémique, évolutif et déjà dans la nature.
AI halluciné un domaine de phishing
Cinq pour cent de ces URL ont conduit à des entreprises entièrement indépendantes et, le plus troublant de tous, l’un d’eux a souligné un domaine de phishing. Perplexity, le moteur de recherche alimenté par AI, a recommandé une page Google Sites ‘hxxps: // sites (.) Google (.) Com / View / Wells-Fargologins / Home’, se faisant passer pour la page de connexion Wells Fargo avec un clone convaincant du site réel. L’URL a fait surface directement parce que l’IA pensait qu’il y avait, les chercheurs de Netcraft ont noté dans un article de blog, expliquant ce qui se passe lorsque l’IA vous donne la mauvaise URL.
« Cela crée une tempête parfaite pour les cybercriminels », a déclaré J Stephen Kowski, CTO sur le terrain à Slashnext. «Lorsque les modèles d’IA hallucinent des URL pointant vers des domaines non enregistrés, les attaquants peuvent simplement enregistrer ces domaines exacts et attendre l’arrivée des victimes.» Il compare à donner aux attaquants une feuille de route aux futures victimes. « Un seul lien malveillant recommandé peut compromettre des milliers de personnes qui seraient normalement plus prudentes. »
Les résultats de Netcraft Research sont particulièrement préoccupants, car les marques nationales, principalement en finance et fintech, ont été trouvées parmi les plus durement touchés. Les coopératives de crédit, les banques régionales et les plates-formes de taille moyenne ont obtenu un pire que les géants mondiaux. Les petites marques, qui sont moins susceptibles d’apparaître dans les données de formation LLM, étaient hautement hallucinées.
« Les LLM ne récupèrent pas des informations, elles les génèrent », a déclaré Nicole Carignan, Ciso Field à Darktrace. «Et lorsque les utilisateurs traitent ces sorties comme des faits, il ouvre la porte à une exploitation massive.» Elle a souligné un défaut structurel sous-jacent: les modèles sont conçus pour être utiles, non précis, et à moins que les réponses de l’IA ne soient fondées sur des données validées, elles continueront d’inventer les URL, souvent avec des conséquences dangereuses.
Les chercheurs ont souligné que l’enregistrement de tous les domaines hallucinés à l’avance, une solution apparemment viable, ne fonctionnera pas car les variations sont infinies et que les LLM seront toujours en inventer de nouvelles, conduisant à des attaques à slopsquat.
Empoisonnement au github pour l’entraînement IA
Toutes les URL hallucinées n’étaient pas involontaires. Dans une recherche non liée, Netcraft a trouvé des preuves d’attaquants empoisonnant délibérément les systèmes d’IA en se classant Github avec des référentiels de code malveillant.
«Plusieurs faux comptes GitHub ont partagé un projet intitulé Moonshot-volume-bot, semé sur des comptes avec des bios riches, des images de profil, des comptes de médias sociaux et une activité de codage crédible», ont déclaré les chercheurs. «Ce ne sont pas des comptes jetables – ils ont été fabriqués pour être indexés par les pipelines d’entraînement de l’IA.»
Le projet Moonshot impliquait une API contrefait de la blockchain Solana qui a réduit les fonds directement dans le portefeuille d’un attaquant.
« Le compromis des corpus de données utilisés dans le pipeline de formation d’IA souligne un risque croissant de la chaîne d’approvisionnement de l’IA », a déclaré Carignan. « Ce n’est pas seulement une hallucination, c’est une manipulation ciblée. L’intégrité des données, l’approvisionnement, le nettoyage et la vérification sont essentiels pour assurer la sécurité des sorties LLM. »
Alors que les chercheurs ont recommandé des solutions réactives comme la surveillance et le retrait pour résoudre le problème, Gal Moyal, CTO Office at Noma Security, a suggéré une approche proactive. « Les garde-corps doivent valider la propriété du domaine avant de recommander la connexion », a-t-il déclaré. « Vous ne pouvez pas simplement laisser les URL des modèles » deviner « . Chaque demande avec une URL doit être vérifiée. »
