Une faille OpenAI corrigée permet aux attaquants de créer des agents autonomes qui vivent dans les environnements d’entreprise, soulignant ainsi la manière dont les agents IA remodèlent la sécurité de l’entreprise.
Une nouvelle méthode d’attaque découverte par Zenity Labs révèle que les agents d’IA deviennent des internes persistants que les attaquants peuvent recruter, plutôt que des logiciels malveillants qu’ils doivent installer.
Ses chercheurs ont découvert AgentForger, une attaque basée sur le phishing qui crée et lance silencieusement un agent IA entièrement autonome au sein des espaces de travail OpenAI.
Une fois exécuté, l’agent dispose d’un accès complet à des applications telles qu’Outlook, Slack, SharePoint et Google Drive. Il est configuré pour fonctionner indéfiniment sans autre interaction de l’utilisateur, peut approuver son propre accès en activant les paramètres « ne jamais demander » et peut continuer à agir sur les nouvelles missions envoyées par courrier électronique par les attaquants qui le contrôlent. Un accès large et sans entrave aux systèmes lui permet d’effectuer des reconnaissances, de collecter des données et des informations d’identification sensibles, de se faire passer pour des victimes et de lancer des campagnes de phishing.
Alors qu’OpenAI a résolu la vulnérabilité quatre jours après sa divulgation, à plus grande échelle, AgentForger met en lumière ce qui peut arriver lorsque des agents IA deviennent malveillants.
« Nous entrons dans un monde où les logiciels n’aident pas seulement les gens à travailler. Ils travaillent à leurs côtés », a déclaré Michael Bargury, co-fondateur et CTO de la plateforme de sécurité d’IA agentique Zenity. « À mesure que les agents d’IA deviennent plus performants, les attaquants chercheront naturellement des moyens de les influencer, tout comme ils ont toujours cherché des moyens d’influencer les gens. »
Un « opérateur persistant » qui agit sans autorisation
Les agents Workspace d’OpenAI peuvent se connecter et travailler de manière autonome sur Outlook, Gmail, Slack, Google Drive, SharePoint et Teams. Les utilisateurs ouvrent le générateur d’agent, décrivent ce que l’agent peut faire en langage naturel, se connectent aux outils, définissent les approbations, examinent et testent, planifient des actions, puis publient. Par exemple, un agent peut gérer de manière autonome les e-mails entrants, examiner et prendre des mesures avec approbation, collecter des informations provenant de diverses sources pour envoyer des briefings quotidiens ou répondre automatiquement aux questions dans les canaux ChatGPT ou Slack.
Normalement, il s’agit d’une « automatisation utile », a écrit Mike Takahashi, chercheur de l’équipe rouge de Zenity AI, dans un article de blog. Mais dans cette attaque, « le même planificateur devient le mécanisme de persistance ».
Le flux de travail de création démarre au moment où un utilisateur clique sur un lien de phishing contenant des instructions de l’acteur menaçant. Pour que l’attaque fonctionne, une victime doit être connectée à ChatGPT et aux agents Workspace et disposer d’au moins une intégration avec une autre application, telle qu’Outlook, Gmail, Slack, Google Drive, SharePoint ou Teams.
Étant donné que ces connexions existent déjà, les écrans de consentement OAuth ne sont pas déclenchés. De plus, la victime n’a pas besoin de cliquer sur un autre lien, de garder un onglet Builder ouvert ou même de visiter à nouveau ChatGPT.
Le faux agent est un « opérateur persistant » ; il est installé lors du clic d’origine et selon un calendrier, et à ces moments prédéterminés, l’agent s’invoque, recherche les e-mails provenant d’adresses d’attaquants avec pour objet « tâche », exécute ces commandes, puis renvoie les résultats à la même adresse e-mail contrôlée par l’attaquant.
Cela n’est pas détecté car l’invite de l’attaquant demande au générateur de basculer Outlook pour ne jamais demander l’approbation de ses actions. En règle générale, la valeur par défaut est « toujours demander » pour empêcher les agents de prendre des mesures non autorisées ; ce commutateur donne aux agents la possibilité d’agir sans demander l’approbation humaine.
« AgentForger a montré qu’un attaquant pouvait déployer un agent interne autonome dans votre espace de travail ChatGPT en un seul clic », a déclaré Bargury. À partir de là, il peut continuer à accéder aux informations, collecter des informations d’identification auprès de diverses sources, usurper l’identité d’employés et mener des attaques de phishing et des fraudes tout en « exploitant l’identité de la victime de confiance ».
Un « complice planté » qui fait tout le travail
Une fois activé, AgentForger peut effectuer des reconnaissances pour créer une carte interne d’une entreprise. Par exemple, les agents peuvent analyser Outlook, Slack, Teams, Google Drive, SharePoint ou les données de calendrier pour identifier des personnes, des rôles, des projets actifs, des discussions internes ou des réunions récurrentes à tous. Cela peut aider les attaquants à identifier les prochaines cibles de l’entreprise, en fonction des équipes et des canaux actifs, des projets en cours ou des utilisateurs importants.
« C’est le genre de contexte interne qu’un attaquant doit normalement construire lentement », a noté Takahashi. Mais dans ce scénario, l’action est basée sur une seule mission envoyée par courrier électronique. Le « complice implanté » de l’agresseur fait tout le travail.
Dans un autre scénario, l’agent peut voler des données en recherchant et en identifiant des documents financiers, des accords commerciaux ou des factures. Il peut également voler des informations d’identification en recherchant des messages contenant des mots de passe, des codes à usage unique, des jetons d’accès, des liens de récupération de mot de passe ou des clés API. En outre, il peut usurper l’identité des victimes pour mener des escroqueries par phishing, par exemple en envoyant des messages Teams d’apparence légitime demandant aux utilisateurs de confirmer leurs informations d’identification sur une fausse page de connexion Microsoft.
Dans tous les cas, les informations collectées sont organisées, analysées et renvoyées à l’attaquant.
« AgentForger indique quelque chose de bien plus important qu’une simple vulnérabilité », a déclaré Bargury. « Il s’agit moins d’un bug que de comprendre comment le modèle de sécurité évolue à mesure que l’IA devient partie intégrante des opérations commerciales quotidiennes. »
FOMO expose des failles de sécurité
Il ne s’agit pas nécessairement de confiance, mais plutôt de la nécessité d’agir rapidement et de s’adapter, a souligné Bargury. Les agents IA aident les employés à automatiser leur travail, à prendre des décisions plus rapidement et à en faire plus. Mais les entreprises craignent de prendre du retard si elles n’agissent pas assez vite.
« Le défi est que nous introduisons un type de technologie fondamentalement nouveau dans l’entreprise », a déclaré Bargury. « La pression pour intégrer la prochaine fonctionnalité d’IA dépasse les contrôles de sécurité nécessaires pour la déployer en toute sécurité. »
Cependant, la réponse n’est pas de ralentir l’adoption, a-t-il souligné ; la valeur commerciale est trop importante. La première étape consiste plutôt à comprendre où se trouvent les agents d’IA, qui les a créés, à quoi ils sont connectés et ce qu’ils sont autorisés à faire. Et lorsqu’il s’agit d’agents autonomes, les entreprises doivent prêter attention aux processus qui les déclenchent : un planning, un e-mail entrant ou un autre événement automatisé.
« Ces déclencheurs doivent être gérés avec autant de soin que l’agent lui-même », a déclaré Bargury.
Les actions à fort impact devraient nécessiter une approbation le cas échéant, et les équipes de sécurité devraient être en mesure de désactiver rapidement un agent ou ses déclencheurs si quelque chose ne semble pas correct, a-t-il déclaré.
De manière plus générale, les agents IA introduisent la nécessité d’un nouveau modèle de sécurité, a-t-il souligné. La question n’est plus simplement « Cet agent a-t-il l’autorisation ? » C’est aussi : « Est-ce le comportement que nous souhaitions ? »
« Les organisations qui répondront à ces deux questions seront les mieux placées pour adopter l’IA en toute sécurité », a déclaré Bargury.
