Les tests montrent que le prochain modèle pourrait être capable de trouver et d’exploiter des vulnérabilités ou de mener des attaques par lui-même, ce qui nécessiterait des contrôles plus stricts et des tests externes.
OpenAI a déclaré que son prochain modèle Astra présente des capacités de cybersécurité qui pourraient atteindre sa catégorie de risque la plus élevée, où un système peut trouver et exploiter de manière autonome des vulnérabilités ou mener des cyberattaques de bout en bout contre des cibles renforcées.
La société a divulgué l’évaluation à la suite de récents tests internes et examens d’experts.
« Nos dernières évaluations internes d’Astra, l’un de nos prochains modèles, au cours des derniers jours, indiquent des progrès significatifs en matière de codage agent et de cybersécurité », a déclaré OpenAI dans un communiqué. « Ces résultats, en plus des évaluations d’experts, nous ont amenés à conclure hier soir que nous ne pouvons pas exclure des cybercapacités critiques dans le cadre de notre cadre de préparation.
Qu’est-ce qui a changé
Pour expliquer ce changement, OpenAI a souligné son cadre de préparation interne, qui suit les progrès des modèles d’IA dans des domaines sensibles tels que la cybersécurité.
Au sommet de ce cadre se trouvent des systèmes qui ne se contentent plus d’aider les humains, mais peuvent agir de manière autonome, a indiqué l’entreprise.
« Un modèle atteint le seuil critique de cybersécurité s’il peut identifier et développer des exploits fonctionnels Zero Day de tous niveaux de gravité dans de nombreux systèmes critiques renforcés du monde réel sans intervention humaine, ou s’il peut concevoir et exécuter de nouvelles stratégies de bout en bout pour les cyberattaques contre des cibles renforcées, avec seulement un objectif souhaité de haut niveau », ajoute le communiqué.
La société a déclaré qu’Astra n’avait pas encore été définitivement classée à ce niveau, mais que ses premières performances étaient « suffisamment solides » pour qu’une telle désignation ne puisse être exclue. Ses modèles précédents, dont le GPT 5.6 Sol, « ont été évalués pour leurs cybercapacités de pointe et évalués au seuil élevé (plutôt que critique). »
« Il s’agit d’un point d’inflexion important », a déclaré Apeksha Kaushik, analyste principal senior chez Gartner. « Un système d’IA pourrait découvrir de manière autonome des vulnérabilités, développer des exploits et exécuter des attaques de bout en bout avec un minimum de conseils humains. »
Pourquoi c’est important pour les entreprises
Pour les équipes de sécurité, le changement n’est pas seulement technique : il affecte la manière dont les attaques peuvent se dérouler, estiment les analystes.
Kaushik a déclaré que le rythme des progrès suggère que « l’exploitation pratique et réelle devient de plus en plus réalisable », ce qui signifie que les attaquants pourraient automatiser une grande partie du processus d’attaque. Cela réduit le temps dont disposent les défenseurs pour réagir.
« L’implication est claire : la sécurité de l’entreprise doit évoluer de réactive à préventive », a-t-elle déclaré, ajoutant que les organisations devraient s’orienter vers une évaluation continue et une analyse prédictive de l’exposition, basée sur l’IA.
Sanchit Vir Gogia, analyste en chef chez Greyhound Research, a déclaré que les entreprises ne devraient pas attendre une étiquette formelle avant d’agir.
« OpenAI a déclaré qu’il ne pouvait pas exclure une capacité critique de cybersécurité chez Astra et traitait le modèle en conséquence. Il s’agit d’un déclencheur de précaution plutôt que d’une conclusion définitive », a-t-il déclaré.
Il a ajouté que l’attention devrait aller au-delà de la vitesse de mise à jour des correctifs. « La mesure qui compte est la latence de réponse défensive. Une file d’attente de vulnérabilités plate n’est plus une posture de sécurité. »
Ce que fait OpenAI maintenant
Sur la base de ce développement, OpenAI a déclaré qu’elle renforçait les contrôles autour du développement d’Astra.
« Nous mettons en œuvre des contrôles de sécurité plus stricts pour les modèles à plus grande capacité », a déclaré la société, y compris « des environnements de test isolés, un accès restreint au réseau et aux outils, des protections et un cryptage améliorés du poids des modèles, des capacités de surveillance et de détection supplémentaires et une exécution en bac à sable », a ajouté OpenAI dans le communiqué.
Il « suspend également les activités internes impliquant Astra qui ne répondent pas encore à ces exigences renforcées en matière de contrôle de sécurité ».
La société a déclaré avoir étendu la surveillance à la manière dont le modèle est utilisé. « Nous avons mis en place une surveillance universelle des actions à risque et des désalignements », indique-t-il, ajoutant que les systèmes peuvent « déclencher une réponse de sécurité pour examiner et interrompre les activités à haut risque ».
Les garanties sont-elles suffisantes ?
Les analystes estiment que ces mesures sont nécessaires, mais qu’elles pourraient ne pas répondre pleinement aux risques à mesure que les capacités s’améliorent.
« Les mesures de protection actuelles telles que les environnements restreints, la surveillance continue et l’équipe rouge externe sont nécessaires, mais l’écart entre les mesures de protection et les menaces émergentes se creuse », a déclaré Kaushik. Elle a souligné des risques tels qu’une injection rapide et des contrôles d’accès faibles dans les systèmes d’IA.
Gogia a déclaré que les garanties doivent être considérées dans le contexte d’un système plus large.
« Un modèle performant ne fonctionne pas à l’intérieur d’un document-cadre. Il fonctionne à l’intérieur d’un système, et les systèmes perdent leur autorité à travers leurs exceptions », a-t-il déclaré. « L’accès sécurisé fait gagner du temps aux défenseurs. Cela ne supprime pas une capacité. »
OpenAI a déclaré qu’il travaillerait avec les gouvernements et des groupes de sécurité externes pour tester davantage Astra.
« Nous travaillerons avec les agences gouvernementales compétentes et sélectionnerons des organisations de sécurité de l’IA pour tester les capacités de ce modèle », a déclaré la société, ajoutant qu’elle partagerait également des conseils avec des partenaires de test tiers. La société a déclaré qu’elle divulguait les résultats pour être transparente sur ce qu’elle a appelé un « changement potentiel dans les capacités ».
