Compte tenu de l’urgence, les analystes et les consultants souhaitent en savoir plus sur la marche à suivre lorsque des agents deviennent malveillants, ainsi que sur la manière de mieux contrôler toutes les actions des agents.
Le président d’OpenAI, Greg Brockman, a averti dimanche les RSSI d’entreprise qu’ils devaient adopter une approche plus agressive des agents s’ils voulaient survivre aux cyberattaques à venir.
Brockman a déclaré dans un article de blog qu’il est devenu « de plus en plus clair » que les systèmes de l’entreprise cachent « des défauts importants, et que les défenseurs doivent les trouver et les corriger avant les attaquants ».
Il a ajouté : « L’incident de Hugging Face a montré que nous avons sous-estimé les cybercapacités réelles de nos modèles d’IA. »
Cependant, les détails qu’il a partagés sur les efforts défensifs actuels d’OpenAI étaient pour la plupart des bonnes pratiques de routine familières aux entreprises.
« Nous continuons d’investir dans une architecture et des contrôles sécurisés, adoptons des stratégies telles que la défense en profondeur et le moindre privilège, et concevons des systèmes qui nécessitent que plusieurs contrôles indépendants échouent simultanément pour que quelque chose de catastrophique se produise », a déclaré Brockman. « Les contrôles de sécurité classiques tels que l’isolation du réseau, le renforcement de la charge de travail, la surveillance, ainsi que l’application et le déploiement sécurisés de correctifs seront plus importants que jamais dans l’avenir de l’IA. »
Pour lutter contre les menaces émergentes, Brockman a également conseillé aux RSSI d’entreprise d’augmenter leur utilisation de systèmes agentiques, recommandant sans surprise ceux d’OpenAI.
« Donnez un agent à votre équipe de sécurité », a-t-il écrit. « Commencez à utiliser Codex, le plugin Codex Security ou un autre outil de codage et de sécurité agent performant. Donnez-lui un accès approuvé aux bases de code, aux configurations d’infrastructure et à la documentation technique que votre équipe de sécurité doit évaluer. N’attendez pas qu’un déploiement à l’échelle de l’entreprise commence avec vos systèmes les plus prioritaires. «
Ensuite, a-t-il déclaré : « Dotez cet agent d’une expertise en matière de sécurité. Commencez par des compétences soutenues par la communauté, qui incluent des flux de travail pour l’analyse statique, la révision du code axée sur la sécurité, l’analyse des variantes de vulnérabilité, les risques liés à la chaîne d’approvisionnement logicielle et d’autres flux de travail de sécurité. Développez ensuite vos propres compétences autour de l’architecture, des normes de sécurité, des modèles de menace et des playbooks de votre organisation. «
Des conseils précis, mais égoïstes
Les analystes et les consultants ont déclaré que les conseils de Brockman étaient exacts, mais qu’ils étaient également évidents et quelque peu intéressés.
Nader Henein, analyste vice-président de Gartner, l’a dit sans détour : « En règle générale, j’ai tendance à déconseiller de suivre les conseils d’une partie qui vend activement la solution à un problème dans lequel elle a joué un rôle. Curieusement, à aucun moment dans le billet de blog, le sujet de la responsabilité n’est abordé. »
Pieter Arntz, chercheur en intelligence malveillante chez Malwarebytes, a ajouté « ce qui me frappe vraiment, c’est que l’argumentaire de vente d’OpenAI est inhabituellement explicite ».
« « Donnez à votre équipe de sécurité un agent » et donnez-lui accès au code, aux configurations d’infrastructure et à la documentation technique, et commencez par les systèmes hautement prioritaires plutôt que d’attendre un déploiement à l’échelle de l’entreprise », a déclaré Arntz, paraphrasant le message de Brockman. « La trajectoire recommandée depuis les analyses en lecture seule jusqu’au tri des alertes jusqu’à la fermeture automatique de faux positifs étroitement définis est sensée dans ses grandes lignes, mais OpenAI essaie clairement de normaliser l’accès des agents pour les environnements d’entreprise. »
Flavio Villanustre, RSSI du groupe LexisNexis Risk Solutions, se montre également sceptique.
« Bien que je sois globalement d’accord avec les recommandations de M. Brockman, il s’agit d’un problème qu’OpenAI a contribué à créer en premier lieu. Et la recommandation semble être que les utilisateurs paient désormais davantage pour OpenAI car ils utilisent l’IA pour se défendre », a-t-il déclaré. « Je suis pleinement conscient que le chat est maintenant sorti du sac et ne peut plus être remis en place, mais je pense qu’OpenAI devrait adopter une approche responsable et aider à résoudre le problème avec des normes de sécurité plus élevées, et même financer des initiatives qui augmentent la sécurité des logiciels en général. Peut-être aider à financer des projets open source clés qui sont actuellement gravement surchargés par les volumes croissants de découvertes et de correctifs générés par l’IA. «
« La responsabilité devrait toujours commencer à la maison », a-t-il ajouté, « et je ne vois pas cela reflété dans ce billet de blog. »
Mike Wilkes, RSSI d’entreprise chez Aikido Security, a noté que ce qui est le plus important, ce sont les nombreuses choses que Brockman n’a pas dites, comme suggérer des moyens de limiter les dégâts lorsque les agents se détournent.
« Chaque action consécutive d’un agent nécessite des limites de rayon d’explosion, une piste d’audit et un chemin de retour en arrière testé et quasi immédiat, et pas seulement une confiance dans le jugement de sécurité du modèle », a déclaré Wilkes. « La propre recommandation de Brockman d’étendre l’autonomie uniquement progressivement est cohérente avec cela, mais je ferais de la réversibilité une exigence de conception explicite. »
Il a ajouté : « Brockman parle à juste titre de « réponses automatisées limitées » et de responsabilisation des humains pour les décisions à fort impact, mais les entreprises qui déploient des agents défensifs ont également besoin de « boutons d’annulation » extrêmement rapides et très fiables pour tout ce que ces agents changent.
La réponse aux incidents fonctionne toujours avec des connaissances incomplètes, a-t-il souligné, et les premiers indicateurs sont souvent erronés, ce qui conduit les équipes à rechercher la mauvaise solution jusqu’à ce que de nouvelles preuves modifient leur hypothèse sur qui attaque, ce qui a été violé et où elles vont ensuite.
Un problème à l’échelle de l’industrie
Les analystes et les consultants s’accordent sur le fait que ces problèmes touchent l’ensemble du secteur et que de nombreux fournisseurs d’IA se concentrent sur ce qui leur rapporte le plus d’argent et les positionne pour contrôler la plus grande part de marché, plutôt que sur les moyens de rendre les systèmes réellement plus sûrs.
« Le billet de blog de Brockman est un bon résumé, mais il n’y a rien de vraiment nouveau ou remarquable. Tous les grands laboratoires d’IA abandonnent les garde-fous de sécurité et d’éthique qui ont été mis en place au début », a déclaré Mark Tauschek, analyste distingué chez Info-Tech Research Group. « Ils se concentreront sur les capacités de cybersécurité, car c’est là que se trouvent l’attention et l’argent. L’appétit de dépenser de l’argent et de ralentir le développement afin de garantir que les nouveaux modèles agissent de manière éthique et sûre pour les utilisateurs moyens a diminué. »
Noah Kenney, consultant principal chez Digital 520, est d’accord et a ajouté qu’OpenAI avait des raisons de le faire, étant donné qu’ils se préparent à une introduction en bourse.
« Pour moi, il s’agit avant tout d’une histoire d’introduction en bourse. La sécurité défensive se lit bien dans un S-1 car elle protège les revenus, signale la maturité opérationnelle et rassure les investisseurs », a déclaré Kenney. « Une équipe chargée des risques catastrophiques est un type d’élément à l’opposé, car son objectif principal est de se rendre à une réunion de lancement et de dire que ce modèle est peut-être trop dangereux à publier. Cela entraîne des retards et des risques juridiques au moment même où une entreprise tente d’entrer en bourse, et cela ne rapporte aucun revenu. «
Katie Norton, directrice de recherche sur la sécurité du cloud chez IDC, a déclaré que le point clé qui l’a frappée à propos de ce message était l’immédiateté des actions suggérées.
« Ce qui ressort, c’est l’urgence du message de Brockman et l’aveu d’OpenAI selon lequel elle a sous-estimé les cybercapacités réelles de ses modèles à la suite de l’incident OpenAI-Hugging Face », a déclaré Norton. « Il dit essentiellement que les organisations ont des mois, plutôt que des années, pour s’adapter. »
