if ( !emtpy($headline_subheadline ) ) : ?>
Plus de code signifie une plus grande exposition aux risques, car les pressions sur les coûts poussent les organisations vers des modèles moins approuvés.
endif; ?>
Avec une exposition typique à la cybersécurité, je peux effectuer des tests d’intrusion avec des outils déterministes. Je suis capable de prédire comment un logiciel va réagir. J’ai même une bonne chance de trouver des vulnérabilités avant qu’elles ne puissent être exploitées contre moi.
Nous sommes confrontés aujourd’hui à un nouveau type d’exposition. Pour les LLM et les modèles d’IA, il existe des risques invisibles, impossibles à analyser et pratiquement indétectables à l’aide des méthodes de cybersécurité traditionnelles. Les acteurs malveillants ont la capacité d’intégrer un comportement malveillant ou indésirable dans un modèle d’une manière qui ne peut pas être facilement testée aujourd’hui.
Cela brise l’outillage, mais cela brise également quelque chose de moins évident : la relation avec le fournisseur. Chaque fournisseur de cybersécurité figurant sur notre liste prétend être un partenaire d’opinion. C’est le moment où cette affirmation est testée, car la réponse honnête à la question « comment rechercher cela » est que personne ne le peut vraiment. Les contrats sont toujours renouvelés sur l’efficacité des contrôles, l’architecture, les preuves et la capacité de réponse, comme ils le devraient. Ce que j’ajoute est un qualificatif : un fournisseur qui ne peut pas m’apprendre quelque chose sur un modèle de menace qu’aucun de nous n’a terminé de cartographier n’est pas un fournisseur que je souhaite pour ce problème, même s’il a obtenu de bons résultats sur le reste.
Choisir entre les modèles de pointe IA haut de gamme et les modèles à poids ouvert moins approuvés est une tâche ardue. Il existe des différences marquées en termes de structures tarifaires, de frais généraux cachés et de risques opérationnels. Que l’on choisisse ou non un modèle premium, les pressions sur les coûts sont réelles. Mais il existe des menaces importantes à prendre en compte lorsque nous apportons un modèle dont nous ne pouvons pas inspecter la provenance.
Risques inhérents à la recette mystérieuse du poids ouvert
Les modèles à poids ouvert fournissent le modèle final à exécuter localement et à affiner, bien qu’ils manquent généralement de transparence sur les données de formation et les scripts utilisés pour les créer. Dans de nombreux cas, il manque certains ingrédients clés à la recette de l’IA à poids ouvert.
Les modèles open source sont placés à un niveau plus élevé. La définition de l’Open Source Initiative demande des informations détaillées sur les données, le code de formation et d’inférence, les paramètres et une licence accordant la liberté d’utilisation, d’étude, de modification et de partage. Il n’exige pas que toutes les données de formation soient republiées, mais il exige suffisamment qu’un tiers compétent puisse s’interroger sur la manière dont le modèle a vu le jour. La disponibilité des sources n’est pas la même chose que la testabilité : personne ne qualifierait l’audit d’un grand modèle de simple. Cela nous permet de poser des questions éclairées, ce que nient précisément les pondérations ouvertes.
Cette distinction est plus importante que ne le suggère le vocabulaire vague de l’industrie. La plupart de ce que l’on appelle l’IA open source est open-weight : un artefact téléchargeable avec une provenance inconnue. Nous n’inspectons pas une recette ; nous faisons confiance à un plat fini.
Même si les modèles à poids ouvert sont devenus de plus en plus courants, il existe un compromis à faire. Ce manque de transparence des données entraîne davantage de risques. Ces risques prennent la forme de portes dérobées et d’empoisonnement des données. Quelque chose d’aussi simple qu’une phrase clé, cachée dans les paramètres numériques d’un modèle à pondération ouverte, peut déclencher un comportement malveillant. Il s’agit d’un comportement involontaire de la part de l’utilisateur final, mais il pourrait être tout à fait intentionnel de la part de l’éditeur du modèle.
Ici, je veux être précis sur l’état des preuves, car c’est là que la conversation devient généralement bâclée. Ce que nous avons observé dans la nature, ce sont des logiciels malveillants de référentiel : JFrog a documenté des modèles malveillants sérialisés en pickle sur Hugging Face qui exécutent du code au chargement. Il s’agit d’une véritable attaque, et c’est un problème d’emballage que nous savons déjà comment résoudre. La porte dérobée comportementale latente, la phrase déclenchante vivant dans les paramètres, est jusqu’à présent démontrée dans des recherches contrôlées telles que le travail des Sleeper Agents d’Anthropic et des preuves de concept comme PoisonGPT, non documentées dans une violation de production.
Mais si l’on regarde ce que fait déjà la recherche. Dans Winter Soldier, une équipe a empoisonné moins de 0,005 % des jetons de pré-entraînement, 64 documents et a fait apprendre à un modèle une paire invite-réponse cachée qui n’apparaît jamais du tout dans les données d’entraînement. L’audit du corpus ne permettrait pas de le retrouver, car il n’a jamais été écrit. Bien qu’il ne s’agisse pas encore d’une menace à l’échelle de la production, cela démontre que la technique fonctionne, en attendant que quelqu’un la rende furtive.
C’est la partie qui mérite d’être planifiée. L’asymétrie de détection joue contre nous : ces comportements survivent à la formation en matière de sécurité, et leur recherche de poids coûte plus cher en calcul que la plupart d’entre nous n’en dépenserons. Nous choisissons actuellement des fournisseurs pour quelque chose que nous ne pourrions pas voir s’il arrivait. Si les États-Unis ne disposent pas de modèles ouverts suffisamment solides, nous allons nous appuyer sur les modèles chinois, et c’est un pari placé précisément dans cette incertitude.
Meta a récemment lancé Muse Glimmer, un modèle de 30 milliards de paramètres sous licence Apache 2.0, et prévoit d’ouvrir les poids de son produit phare, Muse Spark 1.2. Notez que la plupart de la couverture s’appelle Glimmer open source. Il s’agit d’un poids ouvert : Meta a publié les paramètres, pas les données d’entraînement ou le code d’entraînement. Ce dérapage dans la presse spécialisée est le même que celui qui apparaît dans nos revues d’architecture, et il vaut la peine d’être repéré aux deux endroits. Cette décision vise OpenAI et Anthropic, et vise à renforcer les modèles américains contre l’afflux de versions chinoises.
Évaluation de la cyber-responsabilité
Lorsqu’il y a un incident majeur de cybersécurité, qui est responsable ? Déterminer la responsabilité en cas de cyber-violation est relativement simple si nous utilisons un modèle premium d’OpenAI ou d’Anthropic. C’est l’un des avantages d’opter pour un modèle grande frontière.
Naviguer dans les nuances des implications géopolitiques
La souveraineté des données a toujours été un défi. À un moment donné à la fin de l’année dernière, TikTok était censé être interdit aux États-Unis en raison des craintes qu’il exfiltre de nombreuses données américaines vers la Chine. Bien que l’interdiction ait été évitée en janvier 2026 lorsque TikTok a finalisé une coentreprise pour transférer la participation majoritaire de ses opérations américaines à un groupe d’investisseurs dirigé par les Américains, certaines de ces mêmes inquiétudes demeurent.
Les problèmes que nous constatons avec les modèles à poids ouvert moins vérifiés font écho à la situation de TikTok. Il ne s’agit pas de n’importe quelles entreprises avec lesquelles nous traitons ; ce sont des sociétés liées à un adversaire géopolitique. La différence est technique : les menaces de porte dérobée et d’empoisonnement des données sont bien plus insidieuses dans la manière dont elles peuvent être exécutées, et bien plus difficiles à détecter. Même si nous ne sommes pas piratés par une branche du gouvernement chinois, il existe d’innombrables autres acteurs malveillants qui peuvent intégrer un comportement malveillant dans un modèle que nous ne détecterons peut-être pas avant qu’il ne soit trop tard.
Avec la sortie par Meta de nouveaux modèles à poids ouvert, nous devons espérer que cela relancera des initiatives plus ouvertes aux États-Unis. Mais un calcul ennuyeux demeure : faisons-nous plus confiance à Meta qu’au gouvernement chinois pour notre propriété intellectuelle ?
Dissection des modèles premium et ouverts
La solution réside dans des garde-fous plus stricts. Nous avons actuellement deux options : opter pour un modèle premium pour éviter complètement les pondérations ouvertes, ou adopter des modèles à pondération ouverte et construire des défenses contre ces menaces. Cette dernière demande du temps et des ressources réels.
Opter pour une option frontière semble plus facile, mais il y a un coût, car nous sommes susceptibles de payer 10 fois le prix pour travailler avec Anthropic ou OpenAI par rapport à un fournisseur de poids ouvert. Les coûts initiaux plus élevés ne sont pas réalisables pour tout le monde.
Alors, pour ceux d’entre nous qui optent pour la voie du poids ouvert, comment pouvons-nous nous prémunir contre les comportements malveillants ? Il s’agit en partie de comprendre que nous ne pourrons peut-être pas éviter le déclencheur, mais que nous pouvons empêcher l’action. Si les pondérations ne sont pas analysables, l’effet de levier se déplace vers ce que le modèle est autorisé à faire.
Cela signifie préciser que notre modèle ne peut pas entreprendre certaines actions sans l’approbation de l’utilisateur. C’est délicat, car l’activité malveillante peut être aussi simple que la visite d’un site Web, qui émet un battement de cœur et active ensuite le comportement toxique. Nous pouvons réduire cela en permettant au modèle d’atteindre uniquement les domaines vérifiés. Rien de tout cela n’est complet, c’est exactement pourquoi cela mérite d’être discuté avec tous les cyber-fournisseurs avec lesquels nous travaillons.
Transformer les cyberconversations en opportunités pour les OSC
Même avec l’émergence de ces menaces de plus en plus indétectables, le paysage de l’exposition n’est pas entièrement sombre. Nous disposons d’une véritable opportunité d’atténuer les risques et de prévenir les résultats malveillants, et l’essentiel de cette opportunité passe par les fournisseurs que nous payons déjà.
Lorsque l’on revoit nos contrats de cybersécurité, il faut considérer que les vecteurs d’attaque ont fondamentalement changé. Générer plus de code que ce que l’on pensait possible crée une exposition plus importante que jamais, et l’ampleur est de jour comme de nuit par rapport aux menaces précédentes.
Nos fournisseurs pourraient être en mesure d’analyser plus de code qu’avant. Mais adopter des méthodes humaines telles que les audits de révision de code et les tests d’intrusion et les adapter à la portée de la production de code d’IA a des limites. Demander à un système automatisé de faire ce qu’une personne ferait, mais beaucoup plus rapidement, ne comble pas l’écart.
L’alternative est d’accepter que ces systèmes ont des capacités fondamentalement différentes. S’ils peuvent traiter des données non structurées et non déterministes, comment repenser la cybersécurité ? Comment évaluer l’intention derrière l’action d’un système plutôt que de simplement mesurer un résultat déterministe ?
C’est la question à poser à nos vendeurs. Ajouter de l’IA, évoluer davantage et faire plus plus rapidement n’est pas une réponse satisfaisante, car cela répond à un problème de volume avec plus de volume, tandis que le problème le plus difficile est que nous ne pouvons plus certifier le comportement en lisant l’artefact. Demandez-leur ce dont ils ont besoin avant qu’un modèle n’atteigne la production : éditeur vérifié, versions et hachages épinglés, sérialisation sécurisée, inventaire de ce qui est réellement en cours d’exécution. Demandez ce qui se passe au moment de l’exécution lorsqu’un modèle demande de faire quelque chose de conséquent et qui l’autorise en dehors du modèle. Les réponses nous disent s’ils y ont réfléchi ou s’ils reconditionnent un scanner.
Rien de tout cela ne remplace la base habituelle d’un renouvellement. Mais un fournisseur qui ne peut pas tenir cette conversation nous dit quelque chose, et je le prendrais au sérieux. S’ils n’ont pas de bonnes réponses à ces questions critiques, ce n’est pas un cyber-fournisseur que je renouvellerais.
