La connaissance de toutes les manières dont une injection rapide peut être effectuée aidera les équipes de sécurité à détecter une nouvelle génération d’attaques.
La société de sécurité CrowdStrike a identifié cinq nouvelles techniques d’injection rapide qui pourraient mettre les entreprises en danger. Les attaques par injection rapide exploitent l’utilisation croissante de l’IA au sein des organisations. Ils fonctionnent en incitant les LLM à accepter des instructions qu’un opérateur humain reconnaîtrait comme douteuses.
Les cinq nouveaux types d’attaques que CrowdStrike a ajoutés à sa taxonomie d’injection rapide sont :
Ajout de règles activées par un déclencheur dans lequel un attaquant ajoute une nouvelle règle qui semble inoffensive au début, mais qui peut être déclenchée ultérieurement pour provoquer un comportement étrange au sein du modèle.
Suppression des jetons cognitifsun moyen de contourner les mesures de sécurité intégrées en éloignant les choix linguistiques du modèle des modèles de refus établis.
Décomposition algorithmique de la charge utileou transmettre un message en plusieurs étapes dont chacune semble innocente mais qui, une fois combinées, peuvent être assemblées en une seule commande plus menaçante.
Injection de jetons spéciauxune attaque qui peut être comparée à l’intégration de « commutateurs de commande » contrefaits dans des instructions normales. Les attaquants cherchent à introduire une confusion qui incite le modèle à élever le contenu utilisateur non fiable au statut de directive système hautement prioritaire.
Injection de données de contexte utilisateur involontaireun exploit qui s’appuie sur la frontière entre les données fiables et les instructions exécutables, incitant l’utilisateur à introduire des instructions malveillantes dans les données contextuelles du LLM. L’invite peut être inoffensive : l’instruction malveillante est cachée dans les données contextuelles environnantes. Cela fonctionne lorsqu’un utilisateur télécharge un document, transfère un e-mail ou ajoute du contenu qui est ensuite traité par l’IA.
Les équipes de sécurité peuvent se prémunir contre de telles attaques de plusieurs manières, a déclaré CrowdStrike, notamment en modélisant les menaces partout où le contexte du modèle peut provenir, en élargissant les tests et en étendant l’ingénierie de détection pour inclure les attaques composites.
