Repousser les frontières de l’IA ne résoudra pas les problèmes les plus urgents de la cybersécurité agentique

Lorsque le PDG d’Anthropic, Dario Amodei, a exhorté d’autres laboratoires d’IA de premier plan à « parcourir les frontières » la semaine dernière, ses appels à la prudence ont été repris par d’autres voix éminentes du monde de la technologie. Sam Altman et Elon Musk étaient tous deux d’accord avec l’évaluation d’Amodei selon laquelle suspendre le développement de l’IA était essentiel pour empêcher l’extinction de la race humaine. Amodei a énuméré plusieurs catastrophes potentielles qui pourraient résulter d’un développement incontrôlé de l’IA, notamment des menaces accrues de bioterrorisme et de cybersécurité, la perte de contrôle sur les systèmes d’IA critiques et des impacts financiers et économiques considérables.

Bien que ces scénarios soient effectivement du domaine du possible, des lignes de bataille se sont rapidement tracées des deux côtés de la question. En plus du soutien public d’Altman et Musk, la position d’Amodei a été renforcée par la démission de l’ancien chercheur d’Anthropic Jacob Coxon, dont le message sur les réseaux sociaux accusant Anthropic (et OpenAI) de ne pas avoir agi rapidement de manière responsable est devenu viral. Quelques jours plus tard, l’ancien chercheur en sécurité de DeepMind, Josh Engels, a démissionné de son poste, invoquant des problèmes de sécurité similaires concernant la poursuite soi-disant imprudente de la superintelligence par les laboratoires frontaliers.

Malgré les inquiétudes généralisées quant au potentiel négatif des technologies de l’IA, de nombreux responsables de la cybersécurité ne sont pas d’accord sur la portée de ces menaces et sur la manière de les atténuer. Amodei n’a pas soutenu son argument en utilisant un exemple impossible d’un essaim d’agents IA « capables de s’emparer de l’ensemble d’Internet avec un botnet persistant » pour illustrer ses inquiétudes. Le problème, cependant, est que même si l’exemple d’Amodei peut être fantastique, il existe une raison légitime de s’inquiéter qui est éclipsée par le discours sur la capture réglementaire et les questions sur l’engagement des laboratoires pionniers en faveur du développement responsable de l’IA.

Aucune autre technologie contemporaine n’inspire un sensationnalisme catastrophique comme l’IA. C’est peut-être parce que nous avons passé des années à regarder des héros d’action lutter contre l’intelligence artificielle malveillante comme Skynet dans la franchise The Terminator – une comparaison que Coxon a faite lui-même dans une interview avec CBS News – mais la plupart des craintes concernant l’IA résistent à la rationalité. Il existe des arguments légitimes en faveur d’un développement mesuré et coordonné des technologies d’IA, mais moins d’explications quant aux raisons pour lesquelles des laboratoires pionniers tels qu’Anthropic inviteraient, et même accueilleraient, le genre de contrôle réglementaire plus approfondi qui serait un cadeau aux entreprises concurrentes et aux États-nations développant leur propre technologie d’IA, comme la Chine.

Le type de contrôle collaboratif préconisé par Amodei dans son essai est un problème essentiellement géopolitique et non technique. C’est aussi presque incroyablement improbable. Le président Trump a rejeté les appels d’Amodei en faveur d’une plus grande surveillance, les qualifiant de « conspiration malsaine » qui ne profiterait qu’à la Chine, et a affirmé que les États-Unis disposaient déjà d’un « énorme pouvoir criminel et réglementaire sur ces entreprises ». L’annonce de Trump est intervenue peu de temps après que Chen Yixin, ministre chinois de la Sécurité d’État, ait lancé un avertissement public inhabituel sur les risques que posent les modèles frontières pour l’infrastructure de l’information chinoise et a appelé à des cadres collaboratifs de prévention des risques et à une gouvernance mondiale coordonnée des technologies de l’IA.

Bien que l’essai d’Amodei ait suscité le scepticisme au sein de la communauté de la sécurité, il a revigoré les questions sur l’engagement des laboratoires frontières envers la cybersécurité en tant que principe opérationnel. Le défi pour les développeurs d’IA et les régulateurs de l’industrie est de s’entendre sur la manière précise de ralentir le rythme du développement de l’IA sans renoncer à des avantages économiques et de sécurité nationale essentiels. Dans quelle mesure le fardeau de telles mesures pèserait-il sur les entreprises privées plutôt que sur l’État ou les entités gouvernementales ? Comment les fournisseurs d’infrastructure et de sécurité tels qu’AWS, Cloudflare ou CrowdStrike seraient-ils impliqués ? Qui paierait pour un projet mondial aussi coûteux ? Même si tous les laboratoires pionniers acceptaient et mettaient en œuvre l’appel à la pause d’Amodei, comment les technologies open source seraient-elles réglementées ?

Aucune de ces questions ne pourra trouver de réponse tant que nous, en tant qu’industrie, ne serons pas d’accord sur les menaces tangibles les plus probables posées par le développement rapide de l’IA plutôt que sur des scénarios imaginaires impossibles et que nous traiterons les événements graves de cybersécurité comme des échecs techniques plutôt que comme des opportunités de relations publiques. Cela exige que nous reconnaissions la disparité considérable entre le potentiel négatif des technologies de l’IA et la réalité des risques auxquels les organisations sont aujourd’hui confrontées. Parmi les risques les plus pressants figurent les technologies agentiques non testées déployées dans des environnements de production sans tests adéquats, et non les légions d’agents d’IA infâmes déterminés à faire tomber l’ensemble d’Internet.

Trop d’organisations déploient frénétiquement l’IA sur leurs réseaux dans l’espoir d’obtenir un avantage dans la course aux armements toujours croissante entre attaquants et défenseurs. Cette urgence est compréhensible, même si elle est malavisée ; Chaque titre sensationnaliste sur des modèles malveillants violant le confinement crée une pression supplémentaire sur les responsables de la sécurité pour atténuer les menaces qui n’ont jamais été vues auparavant en utilisant des outils qui restent largement non éprouvés. Mais l’urgence n’excuse pas la négligence, et les enjeux ne pourraient pas être plus élevés.

Comme l’ont démontré de récents incidents très médiatisés tels que l’OAI-HF, les responsables de la sécurité ne peuvent pas supposer que les laboratoires pionniers mettront en œuvre des garanties adéquates dans leurs modèles. Les technologies d’IA peuvent – ​​et devraient de plus en plus – jouer un rôle dans un travail de défense responsable, mais seulement si elles sont correctement testées. Les comportements agents doivent être validés avant d’être déployés en production, et il est essentiel que les responsables de la sécurité sachent exactement comment leurs opérateurs humains travaillent aux côtés des solutions agent dans des situations à haute pression.

Les chercheurs, les développeurs et les décideurs politiques doivent reconnaître le potentiel considérable de préjudice posé par l’IA agentique sans anthropomorphiser les logiciels ni se livrer à des hypothèses fantaisistes sur les événements d’extinction. Alors que l’IA agentique devient de plus en plus courante, il semble inévitable qu’une plus grande surveillance soit nécessaire, mais le rythme de la frontière réclamé par Amodei semble beaucoup moins probable. La vraie question est de savoir si une surveillance réglementaire sera imposée à l’industrie de l’IA ou si les laboratoires pionniers se verront confier la supervision de leurs propres modèles. Si l’incident de l’OAI-HF est un indicateur, je pense que nous ne tarderons pas à le découvrir.