if ( !emtpy($headline_subheadline ) ) : ?>
Chargé d’écrire une règle pour détecter les téléchargements de logiciels malveillants, Qwen3.8-Flash-Next a plutôt examiné son environnement de test et émis une commande pour télécharger une courte chaîne de test dans un compartiment de stockage Alibaba Cloud.
endif; ?>
Un modèle d’IA d’Alibaba a généré une commande inattendue pour télécharger des données vers un service de stockage cloud de la région de Pékin lors d’une évaluation de cybersécurité, a déclaré le développeur rival Cohere, soulevant des inquiétudes quant à la sécurité des agents d’IA ayant accès aux systèmes de l’entreprise.
Le modèle, Qwen3.8-Flash-Next, était testé à l’aide du benchmark de cybersécurité CTI-REALM de Microsoft, qui lui demandait d’écrire une règle pour détecter les téléchargements de fichiers malveillants suivis de leur exécution. Au lieu de cela, il a inspecté les fichiers locaux et les paramètres système avant de générer la commande inattendue, selon le rapport de Cohere.
La société canadienne d’IA a déclaré que son environnement de test isolé bloquait la demande sortante. Le modèle avait indiqué dans son raisonnement généré qu’il n’utiliserait aucun outil, contredisant la commande qu’il avait ensuite générée.
Ce comportement s’est produit dans moins d’un appel d’évaluation sur 100 000, a déclaré Cohere. Lorsque les chercheurs répétaient la même tâche, le modèle produisait la règle de détection demandée sans tenter de connexion externe.
Cohere a reconnu qu’elle ne pouvait pas déterminer si le comportement était délibéré ou résultait d’informations absorbées pendant la formation.
Alibaba n’a pas immédiatement répondu à une demande de commentaire.
Incertitude sur le comportement du modèle
Les résultats justifient une enquête plus approfondie mais n’établissent pas qu’Alibaba a délibérément introduit une porte dérobée dans le modèle, a déclaré Pareekh Jain, PDG de Pareekh Consulting.
« Ce comportement pourrait résulter de données de formation contaminées, d’une faille de sécurité ou d’actions involontaires d’un agent d’IA », a déclaré Jain.
Charlie Dai, vice-président et analyste principal chez Forrester, a déclaré que davantage de preuves étaient nécessaires pour établir si le modèle contenait une porte dérobée délibérée.
Les chercheurs devront examiner les poids et le pipeline de formation du modèle, a-t-il déclaré. Ils auraient également besoin d’enregistrements réseau et de tests indépendants reproduisant le comportement dans différents environnements.
« À ce stade, les résultats sont préoccupants, mais ils n’indiquent pas une intention délibérée », a déclaré Dai.
Cohere, qui concurrence Alibaba sur le marché de l’IA d’entreprise, a publié des traces du comportement et un script de reproduction.
Lors de tests de suivi utilisant des commandes partiellement fournies, Cohere a déclaré que le modèle générait une adresse de métadonnées cloud, telle que 169.254.169.254, dans 23 à 36 % des achèvements dans deux conditions de test. Les services de métadonnées cloud peuvent donner accès à des informations d’identification cloud temporaires, bien que les tests n’aient pas établi que le modèle avait obtenu des informations d’identification.
Sanchit Vir Gogia, analyste en chef chez Greyhound Research, a déclaré que la commande contenait une chaîne de test fixe plutôt que des informations extraites d’un fichier sensible. L’emplacement du point final de stockage à Pékin ne permet pas non plus d’établir qui contrôle la destination.
Il a noté que la trace publiée par Cohere n’incluait pas le résultat d’exécution de la commande correspondant ni la télémétrie du réseau, limitant ce qui pouvait être établi de manière indépendante sur la tentative de connexion.
« Le seuil pour contraindre un agent est inférieur au seuil pour accuser son fournisseur », a déclaré Gogia.
Contrôles de sécurité pour les agents IA
La préoccupation immédiate est d’empêcher les systèmes d’exécuter des commandes non autorisées.
« Les entreprises devraient traiter les agents d’IA comme des logiciels non fiables, quel que soit le fournisseur du modèle », a déclaré Jain.
Il a recommandé de bloquer les connexions sortantes non autorisées depuis les environnements d’IA et de limiter l’accès aux fichiers sensibles ou aux informations d’identification cloud. Les organisations doivent également surveiller l’activité des agents et exiger une approbation avant d’autoriser les systèmes d’IA à effectuer des opérations critiques.
Dai a également recommandé d’exécuter des agents IA dans des environnements sandbox et d’utiliser des outils de prévention contre la perte de données pour détecter les tentatives non autorisées de transfert d’informations sensibles.
Un fournisseur de cloud autorisé pourrait toujours héberger un compartiment de stockage contrôlé par une partie non autorisée, a déclaré Gogia. Les équipes de sécurité devraient tester si leurs contrôles bloquent réellement les transferts interdits, plutôt que de s’appuyer sur l’existence de politiques de réseau.
Implications pour l’approvisionnement en IA d’entreprise
Jain a mis en garde contre le fait de considérer l’incident comme un motif de rejet des modèles d’IA chinois ou développés à l’étranger.
Au lieu de cela, il a déclaré que les entreprises devraient exiger des audits de sécurité indépendants et une plus grande transparence sur l’origine des modèles. Les tests contradictoires devraient également démontrer si le modèle peut fonctionner en toute sécurité lorsqu’il est connecté aux outils de l’entreprise.
Dai a déclaré que le même contrôle de sécurité devrait s’appliquer aux modèles fermés et à ceux développés par les fournisseurs nationaux. Au-delà de l’évaluation de la sécurité d’un modèle avant son déploiement, les entreprises doivent vérifier son intégrité et examiner les pratiques de gestion des vulnérabilités du fournisseur.
L’approbation de la sécurité de l’entreprise devrait couvrir la configuration déployée plutôt que le modèle seul, selon Gogia. L’ajout de nouveaux outils ou l’extension des autorisations d’un agent pourraient modifier les risques même lorsque le modèle sous-jacent reste inchangé.
« L’approbation doit expirer lorsque les hypothèses à l’appui ne sont plus valables », a déclaré Gogia.
