if ( !emtpy($headline_subheadline ) ) : ?>
L’IA submerge les équipes de sécurité avec le même problème d’attention résolu par l’aviation il y a des décennies. Alors, qu’est-ce qui devrait arrêter les actions dangereuses ?
endif; ?>
Un contrôleur aérien surveillant un champ d’application très occupé manquera tôt ou tard l’avion qui compte. L’attention soutenue diminue sous la charge, une limite que l’aviation appelle le décrément de vigilance et qui a passé soixante-dix ans à la concevoir.
L’IA a placé tous les travailleurs du savoir dans cette chaire. Vous travaillez désormais sur une douzaine d’avions à la fois : six conversations ouvertes, un agent qui rédige en arrière-plan, trois autres en attente, et quelqu’un appelle cela de l’efficacité. Votre portée est votre boîte de réception. Le décrément de vigilance ne se soucie pas du fait qu’on vous ait dit de suivre le rythme.
Ce que l’aviation a fait à ce sujet
L’aviation n’a pas répondu à la baisse de vigilance en demandant aux contrôleurs de se concentrer davantage. Il a construit une machine qui surveille par elle-même, puis a laissé la machine prendre le pas sur l’humain.
En 2002, au-dessus d’Überlingen, un contrôleur surchargé travaillant à deux postes a demandé à un avion de ligne de descendre au moment même où son système anti-collision embarqué lui disait de monter. Un équipage a obéi au contrôleur. L’autre obéit à sa machine. Ils sont entrés en collision et 71 personnes sont mortes.
La réponse de l’aviation a été une règle qui régit toujours chaque cockpit : lorsque la machine et l’humain ne sont pas d’accord, suivez la machine. Et notez de quel type de machine il s’agissait. Un système anti-collision ne lit aucune intention ; il calcule deux pistes convergentes et l’appelle. L’aviation n’a pas appris aux équipages à faire confiance à une machine intelligente. Cela leur a appris à obéir à un certain idiot.
La sécurité a fait le pari inverse
La sécurité parie dans l’autre sens. Depuis 30 ans, sa dernière ligne de défense est une personne qui remarque qu’un message est faux. AI vient de faire un pari deux fois perdant.
Premièrement, cela a effacé le tell. Dans une étude contrôlée, Bruce Schneier et Fredrik Heiding ont découvert que l’IA peut réduire le coût d’une campagne de phishing de plus de 95 % tout en égalant le nombre de clics d’une équipe humaine qualifiée. Le leurre maladroit et bourré de fautes de frappe que nous avons appris aux gens à attraper est en train de disparaître.
Deuxièmement, l’IA a effacé l’attention en asseyant chaque lecteur dans le fauteuil du contrôleur. Changer d’avion dégrade l’attention, c’est pourquoi nous demandons à un contrôleur saturé d’attraper le seul avion hostile avec un télescope dont l’aviation a déjà prouvé qu’il le raterait.
Notre problème est plus difficile. Un jet convergent n’essaie pas de se cacher ; cela apparaît sur la lunette comme exactement ce que c’est. Un virement frauduleux est conçu pour paraître légitime, et l’adversaire peut choisir le moment où vous êtes le plus submergé. La machine aéronautique devait surpasser la fatigue humaine. Le nôtre doit surpasser son adversaire.
Surveillez ceux qui peuvent vous tuer
Vous ne pouvez pas surveiller tous les avions de la même manière, alors surveillez ceux qui peuvent vous tuer, et les données sur les menaces indiquent lesquels.
Le FBI a enregistré 21 442 plaintes pour compromission de courriers électroniques professionnels en 2024, sur un total de 859 532 plaintes, mais BEC a représenté 2,77 milliards de dollars sur les 16,6 milliards de dollars de pertes signalées pour l’année. Ces attaques représentent une petite fraction des incidents mais une part disproportionnée des dégâts car elles entraînent des actions conséquentes : un virement, un changement de coordonnées bancaires, une réinitialisation des identifiants. Rare et difficile à inverser.
C’est là que la règle de l’aviation se pose réellement, et elle se pose sur la machine stupide. Protégez ces actions avec quelque chose qui se déclenche sur l’événement lui-même, et non sur la lecture humaine de celui-ci : un rappel obligatoire vers un numéro connu pour tout changement de coordonnées bancaires, un double contrôle sur un virement, un seuil strict au-dessus duquel un paiement s’arrête de lui-même.
Rien de tout cela n’est nouveau. Ces contrôles servaient autrefois de ceinture et de bretelles derrière un filtre de courrier électronique qui capturait l’attrait évident. Le tell disparaît, ces contrôles doivent donc supporter une plus grande charge. Comme le système de collision, ils ne lisent l’intention de personne. Ils tirent sur le fait, à chaque fois, et ne demandent à personne d’être malin.
Ce qui leur manque, c’est le fil qui est déjà cohérent : une demande provenant d’un fil de discussion d’un fournisseur véritablement compromis, correcte dans les moindres détails, qu’un rappel confirme parce que le fraudeur détient également l’autre extrémité. Comprendre cela signifie juger si une action a du sens dans son contexte, le problème contradictoire qu’un système de collision n’a jamais eu à résoudre.
C’est là que la règle de l’aviation cesse de s’appliquer, du moins pour le moment. Vous ne pouvez dire à personne de suivre cette machine parce qu’elle n’est pas d’un certain type stupide. Il devine dans un brouillard contradictoire, et une mauvaise supposition arrête un vrai fil. Toute machine sur le chemin de l’argent ne gagne sa place que si elle est suffisamment silencieuse pour être digne de confiance et suffisamment bon marché en cas d’erreur pour que le Trésor ne la contourne pas.
Une machine bruyante déplace simplement le décrément de vigilance sur la sauvegarde, qui efface ses alertes au même moment où le contrôleur a raté les bips. La fiabilité requise pour dire « suivez la machine » est le problème que la sécurité doit encore résoudre.
La question qui mérite d’être terminée
L’aviation s’est réformée parce que le coût de faire semblant était une épave dans un champ avec 71 noms dessus. Le coût de la sécurité est plus faible : un fil qui s’efface et une identité transmise, nous continuons donc à demander aux gens de faire la seule chose que l’aviation a prouvé qu’ils ne peuvent pas : servir de dernière ligne fiable contre un événement rare enfoui dans la routine. L’IA a rendu ce pari encore pire.
La discipline qui l’a appris la première n’a pas exigé plus de vigilance. Il a construit des contrôles autour des moments où l’échec avait les plus grandes conséquences et a cessé de dépendre d’une personne surchargée pour détecter chaque événement dangereux.
La sécurité a déjà sa version de la machine stupide : des contrôles qui tirent sur le fait, même si quelqu’un reconnaît l’attaque. La machine qui lit l’intention doit gagner la même confiance avant que quiconque la suive.
La question n’est donc pas de savoir si vos collaborateurs y prêtent attention. L’aviation aurait pu vous dire il y a des décennies qu’elle ne le ferait finalement pas. La question est de savoir si, au moment où quelqu’un est sur le point de déplacer de l’argent ou de renoncer à son identité, quelque chose se trouve sur son chemin, sauf un humain qui espère le remarquer.
