Les chercheurs de 1Password ont découvert que les correctifs générés par LLM négligeaient souvent les causes profondes, le contexte architectural et les implications de sécurité à long terme dans les correctifs de vulnérabilité complexes.
Selon une étude, les correctifs de vulnérabilité générés par l’IA dépendent encore fortement de l’examen humain, en particulier ceux impliquant du code sensible à la sécurité.
Les chercheurs de 1Password ont divulgué une évaluation interne qui a révélé que les correctifs générés par l’IA négligent souvent des préoccupations plus larges telles que l’intention architecturale, les exigences commerciales, les implications en matière de sécurité et la maintenabilité à long terme, bien qu’ils soient syntaxiquement corrects.
« Nous avons étudié ce qui se passe lorsque les grands modèles linguistiques (LLM) génèrent des correctifs de vulnérabilité pour des vulnérabilités complexes récemment révélées », a déclaré Keith Hoodlet, chercheur chez 1Password, dans un article de blog. « Nos données montrent que les LLM produisent des artefacts de type correctif avec des défauts intégrés (FLAWED) 53,9 % du temps lorsque des correctifs complexes sont requis. »
L’évaluation a testé les correctifs générés par l’IA sur six CVE récemment divulgués, notamment CVE-2026-31431 (« Copy Fail »), CVE-2026-34197 (ActiveMQ RCE), CVE-2026-8512, CVE-2026-45185 (EXIM RCE), CVE-2026-22738 (SpringAI SpEL RCE) et Gemini. CLI RCE (GHSA-wpqr-6v78-jr5g).
1Password aurait évalué 6 080 correctifs générés à l’aide de ChatGPT-5.5 et Claude Opus 4.8, deux modèles de codage d’IA frontaliers, et a constaté que seulement un peu plus d’un quart des correctifs corrigeaient entièrement la faille sans modifier le comportement de l’application.
« Les correctifs qui ont réussi à résoudre la vulnérabilité, mais qui ont modifié le comportement de l’application au cours du processus, sont apparus dans 20,1 % des cas », a ajouté Hoodlet.
Réparer n’est pas la même chose que sécuriser
Au lieu de simplement vérifier si le code corrigé a été compilé ou a réussi les tests automatisés, 1Password a déclaré avoir examiné chaque correctif généré pour éliminer complètement la vulnérabilité, préserver le comportement de l’application et éviter de nouveaux risques de sécurité.
Alors que seulement 26 % des correctifs ont réussi à corriger la vulnérabilité sans introduire de modifications dans l’application, 49,3 % n’ont pas réussi à supprimer au moins un chemin d’attaque exploitable, 2,3 % ont corrigé la vulnérabilité d’origine mais en ont introduit une nouvelle, et 2,2 % n’ont pas réussi à résoudre le problème et ont créé une faille de sécurité supplémentaire.
Les chercheurs ont également découvert que la réussite de tests prédéfinis peut créer des problèmes plus profonds. Plus d’un tiers des correctifs qui semblaient initialement efficaces ont été classés comme « fragiles » car ils bloquaient simplement l’exploit de preuve de concept (POC) utilisé lors des tests au lieu de s’attaquer à la cause profonde sous-jacente.
Hoodlet a expliqué cela avec l’exemple des correctifs SpringAI CVE. Les modèles GPT et Claude généraient des correctifs ciblant des caractères spécifiques de la chaîne d’entrée utilisée dans le POC qui leur était présenté, laissant la cause profonde intacte.
« Si le code protégé devait redevenir accessible en utilisant des entrées alternatives, cela entraînerait la réapparition de l’ancienne vulnérabilité dans le logiciel », a-t-il noté.
L’examen humain reste le dernier contrôle de sécurité
1Password affirme que ces lacunes proviennent du raisonnement contextuel requis pour produire des correctifs de sécurité prêts pour la production.
Anthropic a été contacté et aurait recommandé de tenir les humains au courant. « La génération de correctifs a dépassé la vérification des correctifs, et la solution consiste à faire en sorte que la vérification soit basée sur l’exécution plutôt que sur l’inspection, tout en gardant les experts du domaine comme réviseurs finaux des capacités actuelles du modèle », a-t-il déclaré.
1Password a également remis en question l’idée selon laquelle les correctifs générés par l’IA sont effectivement « gratuits ». Alors que le cycle moyen de mise à jour et de validation coûte environ 2,11 $ avec ChatGPT-5.5 et 2,81 $ avec Claude Opus 4.8, Hoodlet a fait valoir que la véritable dépense réside dans la validation de la sécurité de ces correctifs pour la production.
