Alors que les développeurs s’appuient sur Copilot et Ghostwriter, les experts mettent en garde contre les valeurs par défaut, les dépendances hallucinées et les attaques qui glissent les défenses traditionnelles.
Un matin de juillet, un fondateur de startup a regardé avec horreur leur base de données de production disparaître, nu non pas par un pirate, mais par un assistant de codage de l’IA bien intentionné dans Replit. Une seule commande sous-mariée AI, exécutée sans un deuxième coup d’œil, a anéanti les données en direct en quelques secondes.
L’accident est devenu une histoire édifiante sur le «codage de l’ambiance», l’habitude croissante de décharger des travaux de outils comme Github Copilot ou Replit Ghostwriter qui transforment les invites en anglais simple en code exécutable. L’attrait est évident: le prototypage plus rapide, moins de barrières pour les non-codeurs et un tir direct de l’idée à la démo – mais cette vitesse coupe dans les deux sens, laissant l’IA glisser les vulnérabilités en production ou, comme le cas de Replit l’a prouvé, les effacer complètement.
Il y a beaucoup de problèmes inhérents au codage d’ambiance. «Des problèmes fréquemment qui se déroulent sont manquants ou des contrôles d’accès faibles, des secrets ou des mots de passe codés en dur, des entrées non animées et une limitation de taux insuffisante», a déclaré l’analyste de Forrester, Janet Worthington. « En fait, Veracode a récemment constaté que 45% du code généré par l’AI contenait une vulnérabilité Top 10 OWASP. »
Secrets à code dur dans le pli
Les assistants de l’IA semblent avoir l’habitude de cuisiner des clés d’API et des jetons directement dans le code. Une clé Openai a été expédiée (certes générée par code vibré) à la production par un développeur une fois, tandis que Copilot a été repéré Chemins privés, sur une autre instance.
Worthington prévient qu’il s’agit de l’un des drapeaux rouges les plus fréquents de la menace Intel. Lorsque les applications codées par Vibe atteignent la réponse des incidents, elle dit: «Vous verrez souvent l’absence de journalisation, le manque de contrôle de la source ou une faible authentification aux côtés de secrets codés en dur. Plutôt qu’une seule empreinte digitale, c’est une collection de comportements bâclés qui pointent vers le développement informel.»
Secure Code Warrior CTO Matias Madou adopte une position zéro-frust. « En tant que professionnel de la sécurité, je vérifie tout code généré par l’IA pour les défauts », a déclaré le développeur vétéran. « Mais les développeurs moins expérimentés ne le feront pas. C’est là que les secrets et les défauts de défaut dangereux se déroulent. »
Des bugs logiques se cachant à la vue
Les études montrent qu’environ un quart des extraits de Python et JavaScript générés par l’IA contiennent des défauts logiques ou des défaillances en insécurité. Cela suit les expériences de Madou. « Lorsqu’il a été testé contre les défis de sécurité, les LLM ont constamment eu du mal avec de vagues catégories comme la protection du DOS ou les autorisations erronées – des vecteurs d’attaque courants. »
Worthington ajoute que les applications codées par vibration manquent souvent même une hygiène de base comme la limitation du taux, que les attaquants peuvent rapidement exploiter. «Les développeurs professionnels peuvent également être trop confiants dans la sortie de l’IA et sauter la validation de l’IDE, aggravant le risque», a-t-elle noté.
Les conséquences sont surfacées. Plus tôt cette année, un fondateur du SaaS a admis sur X que son application construite par curseur avait été piratée. Tea, une application de rencontres pour femmes que certains critiques affirmée étaient codées par vibe et divulguées les données des utilisateurs tandis que son clone de knock-off, Teoonher, a exposé 53 000 e-mails et mots de passe par une faille triviale.
Injection rapide: le petit secret de l’IA
Echoleak de Microsoft a montré comment un e-mail conçu malicieusement pourrait tromper le copilote dans l’exfiltration de données internes – à l’épreuve de l’injection rapide indirecte est plus qu’une expérience de pensée. Les chercheurs ont découvert plus tard que l’agent de codage de l’IA d’Amazon pouvait être ensemencé avec des commandes d’attribution informatique, brouillant la ligne entre l’abus de LLM et l’attaque de la chaîne d’approvisionnement.
Une seule invite injectée cachée dans une dépendance ou un bloc de code partagé peut passer directement à travers des applications codées par vibration dans des environnements de production, achetant efficacement l’attaque passée par les défenses traditionnelles. « Le risque se développe à mesure que ces outils s’intègrent plus profondément dans les systèmes d’entreprise », a déclaré Worthington.
BugCrowd Ciso Nick McKenzie a souligné que les équipes d’AppSec peuvent faire face si les processus sont à l’échelle. « C’est une grande demande avec toutes les vibrations en cours, mais si vous avez correctement construit vos processus AppSec, la révision du code généré par l’IA a les mêmes idiosyncrasies que de réviser le code écrit humain », a-t-il déclaré. « Le problème est lorsque l’ombre AI passe du tout sans examen. »
Vibration dans les dépendances hallucinées
Les LLM recommandent régulièrement des bibliothèques qui n’existent pas ou, pire encore, sont dépassées de défauts. Les chercheurs ont surnommé les attaques qui en résultent «Slopsquatting». Un faux package a tiré 30 000 téléchargements avant qu’il ne soit signalé.
Worthington cite des données montrant qu’au moins 5,2% des dépendances suggérées par des modèles commerciaux et 21,7% de ceux des modèles open-source sont hallucinés. «Les LLM n’évaluent pas si une bibliothèque est sécurisée, viable ou même réelle», dit-elle.
Madau pense que les développeurs devraient avoir les connaissances requises. « Le simple fait de faire confiance au modèle n’est pas une option », a-t-il déclaré. «Les dépendances doivent être vérifiées par quelqu’un avec un contexte. Sinon, vous ouvrez la porte à un compromis de chaîne d’approvisionnement.»
Shadow It rencontre l’automatisation incontrôlée
L’assistant de codage AI de Replit nuageant accidentellement une base de données en direct est l’exemple le plus marqué de l’ombre AI. Des incidents comme celui-là maintiennent les CISO la nuit. « Shadow Ai est réel. C’est le risque le plus élevé pour nous, plus difficile à détecter et à surveiller que l’ombre traditionnelle », a déclaré McKenzie. «Les développeurs peuvent faire tourner ces outils sans surveillance d’une manière que nous n’avons jamais vue auparavant.»
En réponse, Replit s’est excusé publiquement et a déployé une séparation de l’environnement plus stricte, garantissant que son agent d’IA ne peut plus toucher les données de production pendant le développement.
BugCrowd a répondu à la menace de l’IA de l’ombre avec une politique à l’échelle de l’entreprise, des scanners intégrés à l’IDE, des avis de conception et des primes de bug post-déploiement. Mais McKenzie admet que la partie la plus dure change le comportement des développeurs. «Il n’y a pas de courbe d’apprentissage avec vibration. C’est la mentalité. La vibration crée beaucoup de slobe tout droit sorti de la porte, et les développeurs seniors passent plus de temps à révisiter et à recycler.»
Il prédit un changement dans les rôles. «Si le codage de l’ambiance devient la norme, les ingénieurs seront des examinateurs plutôt que des codeurs. Ils peuvent devenir la première ligne de défense d’AppSec, si nous les formons à l’opinion du code avec la bonne perspective.»
Garder les vibrations sous contrôle
Malgré tous ses risques, le codage d’ambiance ne disparaît pas. Les experts disent que la seule astuce est de traiter probablement le code généré par l’IA comme celui d’un développeur junior, avec beaucoup de contrôle. Cela peut être appliqué avec des garde-corps via des ensembles de règles, de l’application CI / CD et des politiques explicites sur quand et comment les outils d’IA peuvent être utilisés.
Madou met en garde contre l’adoption aveugle. « Il a été démontré que l’utilisation sans restriction de l’IA était dangereuse à n’importe quelle vitesse, quel que soit l’outil utilisé », a-t-il déclaré. «Les développeurs doivent augmenter en continu s’ils veulent en bénéficier sans créer de plus gros problèmes.»
Bien que ce ne soit pas une petite tâche. La formation, la gouvernance et les changements culturels se heurtent tous ici, ce qui rend le défi moins sur les outils et plus sur la façon dont les gens s’y adaptent. De plus, le rythme de l’avancement de l’IA dépasse de loin le taux auquel la plupart des équipes peuvent apprendre, laissant un écart de compétences élargie que les organisations ne peuvent pas se permettre d’ignorer.
McKenzie convient que les enjeux sont élevés. « Shadow Ai n’est pas un risque marginal – c’est ici maintenant, et c’est notre travail de le gérer », a-t-il souligné.
