Le modèle d’IA open source Mistral malgré l’avertissement selon lequel il pourrait faciliter les cyberattaques

Lucas Morel

if ( !emtpy($headline_subheadline ) ) : ?>

Mistral indique que les mises à jour de sauvegarde ultérieures s’appliqueront à son API gérée et aux versions futures, et non aux copies modèles que les organisations ont déjà téléchargées et déployées.

endif; ?>

Un modèle d’IA comportant des milliards de paramètres qui, selon son développeur, pourrait aider les attaquants à mener de véritables cyberattaques est désormais téléchargeable, modifié et exécuté gratuitement, hors du contrôle du développeur.

Mistral AI a publié jeudi les poids ouverts de Mistral Large 4, qu’elle appelle « Le Chonk », des semaines après avoir mis le modèle multimodal en avant-première publique. La société basée à Paris a déclaré avoir surveillé l’utilisation de l’aperçu liée à la cybersécurité dans le trafic en direct.

« Bien que nous ayons observé le modèle refusant de se conformer aux attaques par boîte noire contre des cibles réelles, nous voyons un potentiel d’amélioration pour mener de véritables attaques », a écrit la société dans un article de blog annonçant la publication.

Mistral modifie les garde-corps du modèle et continuera à les mettre à jour dans les mois à venir, ajoute le message.

Les garde-corps s’arrêtent à l’API

« Les mises à jour de sauvegarde ultérieures sont appliquées à notre API gérée et aux futures versions de modèles, plutôt que de mettre à jour automatiquement les points de contrôle téléchargés », a déclaré Stock.

Lorsqu’on lui a demandé à quelles étapes d’attaque le modèle avait contribué de manière significative dans le trafic de prévisualisation, Stock n’en a nommé aucune. Il a déclaré que les gains les plus significatifs concernaient le travail défensif tel que l’identification, la reproduction et la correction des vulnérabilités logicielles.

« Bien que notre surveillance en avant-première publique ait montré que le modèle refusait les attaques contre des cibles réelles, nous reconnaissons le potentiel d’utilisation abusive à mesure que les capacités progressent et nous renforçons continuellement nos garanties », a-t-il déclaré.

Hugging Face, qui héberge les poids, a noté dans son propre message de lancement que les poids ouverts plaçaient à la fois la politique d’utilisation et le déploiement sous le contrôle de l’utilisateur.

En juillet, l’AI Security Institute du Royaume-Uni a rapporté que les principaux modèles ouverts étaient en retard de quatre à sept mois par rapport à la frontière fermée en matière de cybertâches. Pour les modèles hautement cyber-capables, la publication ouverte crée « un risque persistant et irréversible d’utilisation abusive », a déclaré l’institut.

Les attaquants utilisent déjà des outils d’IA open source. Plus tôt ce mois-ci, Microsoft a déclaré qu’un groupe aligné sur la Chine avait utilisé le cadre d’IA agentique ARTEX pour cibler plus de 2 250 locataires Microsoft 365.

Mistral affirme que le modèle publié peut distinguer le travail défensif des requêtes malveillantes. Selon la société, Large 4 a refusé 96,6 % des invites malveillantes dans les parties liées à la cybersécurité des benchmarks JailbreakBench, StrongREJECT et AgentHarm, le taux le plus élevé qu’elle ait mesuré parmi les modèles ouverts.

Niyati Daftary, analyste principal chez Gartner, a déclaré que les responsables de la sécurité devraient lire ce chiffre avec attention.

« Le chiffre de 96,6 % de Mistral vous indique ce que fait leur modèle dans leur scénario de test, et non comment il se comportera avec vos données, vos cas d’utilisation contradictoires ou en production dans votre environnement contre des attaquants motivés », a-t-elle déclaré.

Mistral gère différemment une variante spécialisée en cybersécurité. Les partenaires de conception tels qu’Orange Cyberdefense bénéficient d’un accès en avant-première à une version optimisée pour les tests d’intrusion, l’évaluation des vulnérabilités et le red-teaming, a indiqué la société. L’accès est « soumis à un contrôle rigoureux et à des garanties contractuelles », indique le message, et est limité aux systèmes que les partenaires possèdent ou sont autorisés à tester.

Benchmarks et obligations de l’UE

La société a déclaré que le modèle avait obtenu un score de 51 % sur l’indice de cyberanalyse artificielle, qui mesure dans quelle mesure un modèle trouve, reproduit et corrige les vulnérabilités. Le graphique dans l’article de Mistral montre deux modèles à poids ouvert, DeepSeek V4.1 Flash et MiMo-V2.6-Pro, obtenant des scores plus élevés.

Mistral considère également Large 4 comme le meilleur modèle à poids ouvert pour le codage, citant les meilleurs scores sur FrontierCode 2.0 et Terminal-Bench 4.0 de Cognition. Il n’a pas encore publié le rapport technique derrière ces résultats et a seulement annoncé qu’il en publierait bientôt un.

« Sans rapport technique détaillé, la meilleure affirmation du modèle de pondération ouverte reste difficile à valider pour toutes les charges de travail », a déclaré Charlie Dai, vice-président et analyste principal chez Forrester.

Dai a ajouté que les modèles pionniers évoluent si rapidement que le leadership « peut changer en quelques mois, voire quelques semaines ».

Stock a déclaré que le rapport documenterait les méthodes et les résultats de la cyber-évaluation de Mistral, les tests de refus et les résultats de la surveillance préliminaire. Mistral a également l’intention de partager les résultats pertinents des tests contradictoires « tout en protégeant les informations de sécurité sensibles », a-t-il déclaré. Il n’a pas donné de date de publication.

L’ENISA, l’agence européenne de cybersécurité, a déclaré dans un communiqué publié avec l’annonce de Mistral qu’elle testait le modèle pour identifier les vulnérabilités, auditer le code et analyser les journaux défensifs.

En vertu de la loi européenne sur l’IA, les modèles entraînés avec plus de 10 ^ 25 opérations à virgule flottante (FLOP) sont présumés comporter un risque systémique, selon la Commission européenne. Leurs fournisseurs doivent évaluer et atténuer ces risques, signaler les incidents graves et maintenir des protections en matière de cybersécurité. Le message de Mistral ne précise pas si Large 4 entre dans cette catégorie ni quelle évaluation des risques a précédé sa libération.

Stock a déclaré que Mistral est un signataire à part entière du code de bonnes pratiques de l’UE en matière d’IA à usage général, y compris son chapitre sur la sûreté et la sécurité, que la Commission accepte comme un moyen de démontrer sa conformité. Il n’a pas précisé si le Large 4 était classé comme modèle à risque systémique.

Ce que cela signifie pour les entreprises

Mistral a publié le modèle sous une licence MIT modifiée qui permet l’utilisation, la modification, le réglage et la commercialisation, a indiqué la société. Les entreprises qui proposent une offre de modèle en tant que service ont besoin d’une licence distincte. Pour ceux qui préfèrent ne pas l’héberger, l’API de Mistral coûte 0,70 $ par million de jetons d’entrée et 2,10 $ par million de jetons de sortie.

Pour les acheteurs européens, la souveraineté est « un différenciateur significatif, mais elle ne doit pas l’emporter sur les préoccupations de sécurité », a déclaré Dai. Les poids ouverts et l’auto-hébergement confient à l’opérateur la responsabilité des garde-corps, des contrôles d’accès, de la surveillance et de la prévention des mauvaises utilisations, a-t-il ajouté.

« La souveraineté et la sécurité doivent donc être évaluées ensemble, et non échangées l’une contre l’autre », a déclaré Dai.

Daftary a déclaré que les entreprises qui hébergent elles-mêmes Large 4 pour l’audit de code ou le tri des vulnérabilités devraient l’exécuter en tant que composant contrôlé et non en tant qu’agent autonome. Cela signifie des environnements isolés, un accès avec le moindre privilège au code et aux informations d’identification, un code généré en bac à sable et une approbation humaine avant toute correction, a-t-elle déclaré. « L’auto-hébergement peut améliorer le contrôle des données et la continuité opérationnelle, mais il rend également l’entreprise seule responsable de l’application des correctifs, de la surveillance, de l’évaluation et de la prévention des abus », a-t-elle déclaré.

Intelligence artificielleCyberattaquesSécurité