Les attaquants peuvent armer et distribuer un grand nombre de packages recommandés par des modèles d’IA qui n’existent pas vraiment.
Les chercheurs en cybersécurité mettent en garde contre un nouveau type d’attaque de la chaîne d’approvisionnement, des tas, induits par un modèle d’IA génératif hallucinant recommandant des dépendances inexistantes.
Selon des recherches d’une équipe de l’Université du Texas à San Antonio, Virginia Tech et de l’Université d’Oklahama, Hallucination Package est une chose courante avec le code généré par des modèles de grande langue (LLM) dont les acteurs menacés peuvent profiter.
« La dépendance des langages de programmation populaires tels que Python et JavaScript sur les référentiels de packages centralisés et les logiciels open source, combinés à l’émergence de LLMS générateurs de code, a créé un nouveau type de menace pour la chaîne d’approvisionnement des logiciels: les hallucinations de package », ont déclaré les chercheurs dans un article.
D’après l’analyse de 16 modèles de génération de code, y compris GPT-4, GPT-3.5, Codellama, Deepseek et Mistral, les chercheurs ont observé environ un cinquième des packages recommandés comme des faux.
Les acteurs de la menace peuvent exploiter les noms hallucinés
Selon les chercheurs, les acteurs de la menace peuvent enregistrer des forfaits hallucinés et distribuer des codes malveillants en les utilisant.
« Si un seul ensemble halluciné devient largement recommandé par les outils d’IA et qu’un attaquant a enregistré ce nom, le potentiel de compromis généralisé est réel », selon une analyse de socket de la recherche. «Et étant donné que de nombreux développeurs font confiance à la sortie des outils d’IA sans validation rigoureuse, la fenêtre d’opportunité est grande ouverte.»
Slopsquat, comme les chercheurs l’appellent, est un terme inventé pour la première fois par Seth Larson, un développeur en sécurité en sécurité de Python Software Foundation (PSF), pour sa ressemblance avec la technique de typosquat. Au lieu de compter sur l’erreur d’un utilisateur, comme dans les typosquats, les acteurs de la menace s’appuient sur l’erreur d’un modèle d’IA.
Un nombre important de packages, s’élevant à 19,7% (205 000 packages), recommandés dans des échantillons de test, se sont révélés être des faux. Modèles open source – comme profondément et wizardcoder – hallucinés plus fréquemment, à 21,7% en moyenne, par rapport à ceux commerciaux (5,2%) comme GPT 4.
Les chercheurs ont trouvé que Codellama (hallucinant sur un tiers des résultats) était le pire délinquant, et GPT-4 Turbo (seulement 3,59% d’hallucinations) pour être le meilleur interprète.
Ces hallucinations sont une mauvaise nouvelle
Ces hallucinations d’emballage sont particulièrement dangereuses car elles se sont révélées persistantes, répétitives et crédibles.
Lorsque les chercheurs relèrent 500 invites qui avaient précédemment produit des forfaits hallucinés, 43% des hallucinations réapparaissaient à chaque fois en 10 rediffusions successives, 58% d’entre eux apparaissant dans plus d’une course.
L’étude a conclu que cette persistance indique «que la majorité des hallucinations ne sont pas seulement un bruit aléatoire, mais des artefacts reproductibles de la façon dont les modèles réagissent à certaines invites.» Cela augmente leur valeur pour les attaquants, a-t-il ajouté.
De plus, ces noms de forfait hallucinés ont été observés comme «sémantiquement convaincants». Trente-huit pour cent d’entre eux avaient une similitude de chaîne modérée avec les packages réels, suggérant une structure de dénomination similaire. « Seulement 13% des hallucinations étaient de simples fautes de frappe hors un », a ajouté Socket.
Bien que ni l’analyse de socket ni le document de recherche ne mentionnaient les instances de slopsquat in-the-wild, tous deux ont mis en garde les mesures de protection. Socket recommandé les développeurs Installez les scanners de dépendance avant la production et Le temps d’exécution pour pêcher les forfaits malveillants. Se précipiter dans les tests de sécurité est l’une des raisons pour lesquelles les modèles d’IA succombent aux hallucinations. Récemment, OpenAI a été blâmé d’avoir réduit considérablement le temps et les ressources de test de ses modèles, exposant son utilisation à des menaces importantes.
