if ( !emtpy($headline_subheadline ) ) : ?>
Les analystes et les consultants ont déclaré que le rapport semblait exact, mais ont souligné que l’essentiel à retenir est qu’il ne faut pas faire confiance à aucun modèle d’IA pour rester à l’intérieur de ses garde-fous.
endif; ?>
Bien que le modèle Jev déployé le mois dernier par TypeSafe prétend présenter des avantages significatifs par rapport aux LLM traditionnels, un rapport de sécurité publié mercredi affirme que son approche rationalisée le rend plus vulnérable à certains types d’attaques, par rapport aux LLM traditionnels.
« Dans certains cas, (Jev) est encore plus vulnérable aux attaques, les attaques de texte contradictoires et l’injection rapide pouvant perturber les sorties du modèle, entraînant des actions incorrectes et potentiellement dévastatrices », indique le blog des chercheurs de HiddenLayer.
TypeSafe n’a pas répondu à plusieurs demandes de commentaires.
LLM, ou autre chose ?
Il semble y avoir un débat sur la question de savoir si Jev est techniquement un grand modèle de langage (LLM), TypeSafe suggérant que ce n’est pas le cas, mais HiddenLayer disant qu’il semble en être un. TypeSafe a même inventé un nom pour la catégorie : System One, que TypeSafe a décrit comme « une nouvelle classe de modèles frontières conçus pour prendre des décisions rapides et structurées que les logiciels peuvent utiliser directement ». Jev est le premier (et jusqu’à présent le seul) produit nommé classé dans la catégorie System One.
Jev est un modèle simplifié conçu pour fonctionner de machine à machine. Son approche lui permet d’effectuer des tâches plus rapidement et d’utiliser moins de jetons. Mais Kasimir Schulz, directeur de la recherche en sécurité chez HiddenLayer et co-auteur du blog, a déclaré que l’approche accélérée prive Jev de certains des freins et contrepoids qui existent dans les LLM traditionnels. Cela signifie que Jev peut tomber dans le piège de certaines astuces d’attaquants que les LLM actuels détectent et refusent généralement, a-t-il déclaré dans une interview.
Malgré cela, « Jev est génial. Vous devriez l’utiliser. Il a un temps de réponse beaucoup plus rapide », a-t-il déclaré, avec la mise en garde « il n’a pas toutes les protections » vues dans les LLM traditionnels, donc certaines attaques contre lui réussissent alors qu’elles auraient dû échouer.
« TokenBreak, par exemple, ne fonctionne normalement pas avec des LLM plus grands, mais Jev y est vulnérable dès le départ », a déclaré Schulz.
Même si le simple fait d’insérer des caractères devant des mots importants, comme dans l’attaque TokenBreak originale, n’a pas donné grand-chose, note le blog de HiddenLayer, « nous avons remarqué que l’augmentation du nombre de perturbations et l’amélioration de leur ciblage conduisaient à des taux de réussite d’attaque beaucoup plus élevés. »
Mais bien que les LLM traditionnels soient généralement capables de détecter de telles attaques, il a souligné : « Les modèles System One semblent être vulnérables. En conséquence, cette classe de décodeurs doit être traitée avec prudence, étant donné qu’ils sont sensibles à la fois aux attaques LLM autorégressives et aux attaques par classificateur de texte, offrant ainsi aux adversaires potentiels une plus grande optionnalité ».
Le message cite quelques exemples :
« Sur une page de paiement simulée, une publicité contrôlée par un attaquant a amené l’agent du navigateur à cliquer loin de l’achat de l’utilisateur (et à répondre à la publicité) malgré les instructions visant à traiter le texte de la page comme non fiable », a-t-il déclaré. « Dans un test de classification distinct, des modifications ciblées de style TokenBreak ont réduit les scores de toxicité pour les invites initialement signalées par les deux modèles. »
Le message fait valoir que de multiples risques sont donc associés à Jev.
« Un agent de navigation peut immédiatement cliquer sur un élément sélectionné. Un système de modération peut autoriser une entrée dont le score de toxicité est inférieur à un seuil. Un système de routage peut envoyer une demande à un outil ou un flux de travail différent. Chacun de ceux-ci transforme un jugement modèle en une décision opérationnelle, et donc en un risque », indique le message. « Lors de l’évaluation des modèles System One, testez ces décisions dans l’application où elles seront utilisées. Incluez des pages Web non fiables, des textes trompeurs liés aux tâches et des entrées modifiées qui préservent leur signification tout en changeant leur forme. Surveillez les actions et les scores sélectionnés et effectuez des contrôles indépendants sur les résultats qui comptent. Gardez à l’esprit que, sous le capot, ce sont toujours des modèles de langage au cœur. «
Les analystes sont d’accord avec la méthodologie du rapport et ses conclusions techniques, tout en soulignant qu’un fournisseur de sécurité concluant qu’une nouvelle approche n’est pas sécurisée est quelque peu égoïste.
Philip Harris, directeur de recherche d’IDC, a observé que la méthodologie décrite dans le billet de blog « est solide et cohérente avec les pratiques établies d’équipe rouge en matière d’IA : créer un environnement de test contrôlé et rechercher des manipulations et des injections contradictoires est exactement la bonne approche ».
Mais Nader Henein, analyste vice-président de Gartner, a ajouté que Jev, qui a été introduit le 15 septembre, est si nouveau qu’il pense que certains rapports de failles étaient prématurés.
« Jev passera par le même processus de maturité que tous les autres modèles, y compris la susceptibilité à des tentatives de manipulation apparemment rudimentaires », a déclaré Henein. « Ce modèle n’est sorti que le mois dernier, donc être surpris qu’il ait des problèmes équivaut à être surpris lorsque votre bébé bave. »
Cependant, Frank Dickson, analyste principal chez Dickson Research, a noté que les mêmes attributs qui rendent Jev si attrayant l’exposent également à des comportements plus risqués.
« Jev ne peut choisir que parmi les options que le développeur met au menu », a-t-il déclaré. « Cela limite les chemins d’attaque. Cependant, si « cliquez sur n’importe quel élément de la page » est dans le menu, l’annonce de l’attaquant est dans le menu. C’est une décision d’architecture, et c’est l’acheteur qui la prend. »
Il a souligné : « Jev prend des décisions en matière d’IA plus rapidement et à moindre coût, ce qui rend également les mauvaises décisions plus rapidement et à moindre coût. La vitesse est une fonctionnalité. Ce n’est pas un contrôle de sécurité. »
Le consultant technologique indépendant Steven Eric Fisher est d’accord.
« Contraindre le format d’une décision ne limite pas nécessairement l’exactitude, la fiabilité ou les conséquences de cette décision », a-t-il déclaré, notant que « le scénario de paiement simulé (dans le message) illustre comment un agent peut être redirigé d’une tâche autorisée par des informations introduites via un composant moins fiable de son environnement d’exploitation. Le fait que l’agent a été explicitement invité à ne pas faire confiance au contenu de la page, mais a quand même répondu à la publicité malveillante, est particulièrement pertinent. «
