Le navigateur Atlas d’OpenAI est sous surveillance après que des chercheurs ont démontré comment les attaquants peuvent détourner la mémoire de ChatGPT et exécuter du code malveillant, sans laisser de traces de logiciels malveillants traditionnels.
Quelques jours après que les analystes de cybersécurité ont mis en garde les entreprises contre l’installation du nouveau navigateur Atlas d’OpenAI, des chercheurs ont découvert une vulnérabilité qui permet aux attaquants d’infecter les systèmes avec du code malveillant, en s’accordant des privilèges d’accès, ou de déployer des logiciels malveillants. Ce développement soulève des questions immédiates sur la préparation des entreprises aux navigateurs natifs de l’IA.
Le navigateur Atlas a fait l’objet d’un examen minutieux après que des chercheurs de LayerX Security ont révélé que des attaquants pourraient exploiter cette faille pour injecter des instructions malveillantes directement dans la mémoire ChatGPT d’un utilisateur et potentiellement exécuter du code à distance.
Pour empêcher les attaquants d’exploiter la vulnérabilité, LayerX a signalé l’exploit à OpenAI sans partager aucune information technique supplémentaire.
Comment fonctionne l’exploitation
L’exploit fonctionne en cinq étapes. Dans la première étape, un utilisateur se connecte à ChatGPT et un cookie ou jeton d’authentification est conservé dans son navigateur. À l’étape suivante, l’utilisateur clique sur un lien malveillant qui le mène à une page Web compromise, a expliqué Or Eshed, co-fondateur et PDG de LayerX, dans un article de blog.
À l’étape suivante, la page malveillante appelle une requête CSRF (Cross-Site Request Forgery) pour profiter de l’authentification préexistante de l’utilisateur dans ChatGPT. Dans la quatrième étape, l’exploit CSRF injecte ensuite des instructions cachées dans la mémoire de ChatGPT, à l’insu de l’utilisateur, altérant ainsi la mémoire principale du LLM.
Dans la cinquième étape, les mémoires corrompues sont invoquées lorsque l’utilisateur interroge ChatGPT, permettant le déploiement de code malveillant pouvant donner aux attaquants le contrôle des systèmes ou du code.
La mémoire de ChatGPT est un outil utile conçu pour que le chatbot IA se souvienne de détails tels que les requêtes, les discussions et les activités des utilisateurs, les préférences, les notes de style et réponde avec des informations personnalisées et pertinentes.
« La mémoire est au niveau du compte et persiste à travers les sessions, les navigateurs et les appareils, de sorte qu’un seul leurre réussi suit l’utilisateur de la maison au bureau et du contexte personnel à l’entreprise », a déclaré Amit Jaju, partenaire mondial/directeur général principal – Inde chez Ankura Consulting. « Dans les environnements BYOD ou à usage mixte, cette persistance redéclenche des comportements à risque même après un redémarrage ou un changement de navigateur, élargissant le rayon d’action au-delà d’un seul point de terminaison. Ceci est particulièrement préoccupant lorsque les comptes personnels ChatGPT sont utilisés pour des tâches professionnelles. «
Jaju a ajouté que l’adoption au sein des entreprises est actuellement très faible. Atlas vient d’être lancé, est uniquement macOS et l’accès entreprise est désactivé par défaut. L’exposition est donc limitée aux pilotes et aux installations non autorisées. Mais les espaces de travail professionnels l’ont disponible par défaut, donc un impact sur l’utilisation professionnelle est plausible.
Comment détecter un coup
Détecter une compromission basée sur la mémoire dans ChatGPT Atlas n’est pas comme rechercher des logiciels malveillants traditionnels. Il n’y a aucun fichier, clé de registre ou exécutable à isoler. Les équipes de sécurité doivent plutôt rechercher des anomalies comportementales telles que des changements subtils dans la façon dont l’assistant réagit, ce qu’il suggère et quand il le fait.
« Il existe des indices, mais ils se situent en dehors de la pile habituelle. Par exemple, un assistant qui commence soudainement à proposer des scripts avec des URL sortantes, ou un assistant qui commence à anticiper les intentions de l’utilisateur avec trop de précision, peut s’appuyer sur des entrées de mémoire injectées. Lorsque la mémoire est compromise, l’IA peut agir avec un contexte non acquis. Cela devrait être un signal d’alarme », a déclaré Sanchit Vir Gogia, PDG et analyste en chef de Greyhound Research.
Il a ajouté que, d’un point de vue médico-légal, les analystes doivent s’orienter vers la corrélation des journaux de navigateur, des horodatages de changement de mémoire et des séquences de réponses rapides. L’exportation et l’analyse de l’historique des discussions sont essentielles. Les équipes SOC doivent prêter une attention particulière aux séquences dans lesquelles les utilisateurs ont cliqué sur des liens inconnus, suivies de mises à jour de mémoire inhabituelles ou d’actions d’agent pilotées par l’IA.
Comme il ne s’agit pas d’un problème de détection plug-and-play, le rachat et l’atténuation commencent par garder Atlas désactivé par défaut pour l’entreprise. En entreprise, cela devrait se limiter à des projets pilotes très ciblés avec des données non sensibles.
Jaju a ajouté que pour la surveillance, les entreprises devraient ajouter des détections pour le code suggéré par l’IA, la récupération des charges utiles à distance, les sorties inhabituelles après l’utilisation de ChatGPT et les comportements de session dans SaaS. Il a également suggéré d’activer le filtrage Web sur les domaines nouvellement enregistrés ou non classés.
Dès que la mémoire d’un utilisateur d’Atlas est compromise, la menace réside dans l’identité liée au cloud, et non dans une seule machine. C’est pourquoi la réponse doit commencer par le compte. La mémoire doit être effacée. Les pouvoirs doivent être alternés. Tout historique de discussion récent doit être examiné à la recherche de signes de falsification, de logique cachée ou de flux de tâches manipulé, a noté Gogia.
Les navigateurs IA sont-ils sûrs ?
En plus d’identifier la vulnérabilité, LayerX a affirmé que ChatGPT Atlas n’est pas non plus équipé pour arrêter les attaques de phishing. Lors des tests effectués par l’entreprise, ChatGPT Atlas a enregistré un taux d’échec supérieur à 94 %. Sur un total de 103 attaques en pleine nature, 97 ont été réussies.
Les résultats n’étaient pas très prometteurs pour les autres navigateurs IA, que la société a testés le mois dernier. Comet et Genspark de Perplexity n’ont pu arrêter que 7 % des attaques de phishing, tandis que seul Dia du navigateur Arc a pu arrêter environ 46 % des attaques. Les navigateurs traditionnels, tels que Edge et Chrome, en revanche, sont relativement bien équipés et ont pu stopper environ 50 % des attaques de phishing grâce à leurs protections prêtes à l’emploi.
