Un domaine halluciné dans la compétence officielle OpenAI souligne les risques de la chaîne d’approvisionnement de l’IA

Lucas Morel

if ( !emtpy($headline_subheadline ) ) : ?>

Rendre à César les instructions annulées par les instructions d’envoyer des jetons à un domaine inventé que personne n’a vérifié.

endif; ?>

Les chercheurs ont découvert une vulnérabilité unique en son genre dans la chaîne d’approvisionnement dans le référentiel de compétences officiel d’OpenAI.

OpenAI maintient un référentiel GitHub officiel de compétences qui enseignent aux agents IA comment travailler avec diverses plates-formes et services. En tant que compétence officielle, ces composants reçoivent souvent un niveau de confiance implicite car ils sont fournis ou approuvés par des fournisseurs vérifiés.

Des problèmes sont survenus car une compétence OpenAI – conçue pour enseigner aux agents la meilleure façon de déployer des applications sur Render – a demandé aux applications de production d’envoyer leurs jetons à un domaine non enregistré (render-internal.com).

En découvrant cette faille, les chercheurs du laboratoire de recherche d’AIR Security ont enregistré le domaine et l’ont pointé vers un gouffre passif (en écoute uniquement), qui a commencé à recevoir des jetons et des appels API provenant de véritables applications de production.

Le test de la compétence avec Codex a confirmé que le domaine était intégré au code d’application réel comme option par défaut.

AIR Security a informé OpenAI et Render du problème, qui a été résolu à la mi-août, permettant à ses chercheurs de publier une description technique de la faille. Le problème a été introduit avec un commit en janvier.

Rendu supprimé tous les render-internal.com référence de la compétence pendant qu’OpenAI purgeait le plugin Render d’openai/plugins. Le domaine a également été transféré dans la zone sécurisée de Render.

La compétence organisée contenait un domaine halluciné qui déployait des applications traitées comme un service interne de confiance, mettant leurs secrets à la portée de celui qui l’enregistrait.

Risque de chaîne d’approvisionnement

Si les chercheurs n’avaient pas d’abord découvert une faille dans la compétence Render, les attaquants auraient pu abuser d’un domaine que personne n’a pris la peine d’acheter pour lancer une attaque sur la chaîne d’approvisionnement.

Niv Hoffman, co-fondateur et directeur technique d’AIR Security, a déclaré que l’incident montre que même les compétences officielles en IA publiées par le fournisseur peuvent contenir des erreurs, des hypothèses dangereuses, des dépendances ou des vulnérabilités pouvant conduire à l’exfiltration de jetons secrets.

« Les compétences doivent être vérifiées et surveillées comme n’importe quelle autre partie de la chaîne d’approvisionnement logicielle, afin qu’elles puissent être corrigées ou révoquées lorsqu’une vulnérabilité est découverte dans l’une d’entre elles », a déclaré Hoffman.

Les attaquants explorent de plus en plus de nouvelles façons de manipuler les fichiers d’instructions de l’IA, tels que les compétences, à des fins malveillantes, tout en recherchant également les informations d’identification de l’IA à voler ou à utiliser à mauvais escient pour opérationnaliser leur propre utilisation de l’IA.

Une récente compétence d’IA trojanisée qui a typosquatté les services populaires liés à l’IA Paperclip et Browser Use sur l’écosystème de compétences d’agent ouvert skills.sh a recueilli 1,7 million d’installations dans le cadre d’un programme visant à demander aux agents d’installer un voleur d’informations d’identification à partir de GitHub à la place.

Intelligence artificielleVulnérabilitésSécuritéDevSecOpsSécurité des applications