if ( !emtpy($headline_subheadline ) ) : ?>
L’idée d’exiger des déclarations sur les quasi-accidents est potentiellement en train de changer la donne en matière d’IA.
endif; ?>
Lorsque Jessica Rusu, directrice des données de la Financial Conduct Authority (FCA) du Royaume-Uni, a prononcé un discours lundi dans lequel elle a plaidé pour que les entreprises britanniques soient tenues de signaler « les échecs et les quasi-accidents importants de l’IA », elle a ajouté aux demandes d’une sorte de contrôle réglementaire sur les déploiements d’IA en entreprise.
Mais son discours a également souligné la frustration des régulateurs face aux vaines tentatives visant à ralentir les déploiements apparemment imparables d’agents et de genAI, alors que les rapports faisant état de mauvais comportements d’agents et de l’absence de conséquences significatives continuent d’émerger à une fréquence alarmante.
Rusu, s’adressant à un public de Bloomberg UK Policy Series, a déclaré que les entreprises doivent investir davantage dans la cyber-résilience opérationnelle.
« Nos règles exigent déjà que les entreprises signalent les incidents majeurs, et cela doit s’étendre aux pannes et quasi-accidents importants de l’IA. Comme l’a reconnu le ministre de l’IA, le signalement des quasi-accidents pour l’IA agentique devient une priorité de sécurité nationale. C’est également une priorité réglementaire », a déclaré Rusu. « Cela signifie également penser différemment à l’assurance. Un système qui est sûr au moment du déploiement peut se comporter différemment à grande échelle, sous contrainte ou à mesure que les modèles sous-jacents changent. Les systèmes agentiques nécessitent donc une assurance continue et conditionnelle. »
Elle a ajouté : « la FCA travaillera avec l’industrie, d’autres régulateurs et des laboratoires pionniers pour développer un cadre fiable pour la finance agentique, y compris des approches claires en matière d’identité des agents, d’autorité déléguée, de responsabilité et d’exécution ».
L’une des questions qui sont ressorties du discours est de savoir ce qu’on entend précisément par « échecs et quasi-accidents importants de l’IA ». Les questions posées à la FCA pour clarifier leur terminologie n’ont pas reçu de réponse au moment de la publication.
Échec de l’IA ou quasi-accident
Mais Pieter Arntz, chercheur en renseignement sur les logiciels malveillants au sein de la société de sécurité Malwarebytes, a proposé sa propre vision de la signification probable de ces termes.
« Une défaillance importante de l’IA a de graves conséquences, pas seulement une réponse incorrecte. Dans les services financiers, cela pourrait signifier un système d’IA autorisant des paiements frauduleux importants, exposant des informations sensibles sur les clients, refusant aux clients l’accès à des services financiers essentiels ou déclenchant des transactions qui menacent l’intégrité du marché », a déclaré Arntz. « Le test devrait porter sur l’ampleur et la gravité de l’impact, plutôt que sur la question de savoir si la panne semble techniquement dramatique. »
D’un autre côté, a-t-il ajouté : « Un quasi-accident d’IA est un événement qui aurait pu, de manière réaliste, causer un préjudice grave, mais qui a été détecté avant que ce préjudice ne se produise. Par exemple, un agent d’IA pourrait tenter un transfert non autorisé qu’un contrôle d’approbation distinct bloque, ou une attaque par injection rapide pourrait l’inciter à divulguer des informations sensibles, uniquement pour qu’un contrôle de sécurité sortant arrête la divulgation. «
Cependant, Arntz a mis en garde contre le risque que comporte l’approche de Rusu, si les sanctions finales s’avéraient décevantes. « Il y a un risque que cela devienne un tigre de papier si la conformité revient à déposer un rapport et à absorber une amende prévisible », a-t-il déclaré.
Avertissements provenant de plusieurs directions
Nader Henein, analyste vice-président de Gartner au Royaume-Uni, s’est dit sceptique quant à l’importance de la proposition de la FCA, en partie parce que de nombreuses entreprises britanniques doivent déjà se conformer aux réglementations de l’UE, qui ont commencé à demander aux entreprises de divulguer de telles informations.
« Les organismes de surveillance financière, notamment la Banque d’Angleterre (BoE), la Banque centrale des Émirats arabes unis et l’Autorité monétaire de Singapour, ont tous émis des avertissements », a-t-il déclaré. « Il y a quelques mois, les banques centrales européennes, en collaboration avec le Comité européen du risque systémique, ont élevé le niveau d’évaluation des cyber-risques associés aux modèles frontières à « sévère », avertissant que des cyber-incidents simultanés pourraient avoir un impact sur le secteur financier. Elles ont reconnu que les cyber-incidents provoqués par l’IA menacent désormais la stabilité du cœur du secteur financier. »
Henein s’est dit particulièrement sceptique quant à la possibilité de changements significatifs dans le secteur financier.
« Les institutions financières ont tendance à tenir compte des avertissements du régulateur qui décide si elles peuvent continuer à fonctionner, mais sans lois claires, sans surveillance réglementaire et sans amendes obligatoires, ces déclarations décousues ne feront probablement aucune différence », a-t-il déclaré.
Pourrait « inciter à un mauvais comportement »
Noah Kenney, consultant principal chez Digital 520, a ajouté que l’un des risques de cette exigence de visibilité accrue est qu’elle pourrait par inadvertance inciter à un mauvais comportement.
« Une banque bien surveillée peut détecter des centaines de tentatives d’agents d’IA d’agir en dehors de leur autorité », a-t-il déclaré. « Une banque avec une mauvaise surveillance peut rapporter zéro, parce qu’elle ne les a jamais vus. Sur le papier, la banque la plus sûre semble pire. Un modèle qui échoue à un test de l’équipe rouge est le test qui fonctionne, pas un incident réglementaire. »
Cependant, Frank Dickson, analyste principal chez Dickson Research, a déclaré que l’approche du quasi-accident est celle qui a le plus fort potentiel pour changer la conversation.
« J’adore l’idée du quasi-accident. C’est la chose la plus importante du discours. C’est la partie pour laquelle les sociétés financières sont le moins prêtes », a-t-il déclaré.
Mais, a-t-il souligné, « (Rusu) met également en garde contre le recours à un modèle unique. Une panne chez un fournisseur d’IA qui supprime un canal de service client compte également. »
Une autre préoccupation liée au recours à un modèle spécifique est le risque toujours présent qu’un fournisseur d’IA puisse modifier le modèle sans en informer tous ses clients.
« Un modèle peut réussir les tests en mars et se comporter mal en mai sans que personne dans l’entreprise ne change une ligne de code, car le fournisseur a modifié le modèle en dessous », a déclaré Dickson. « Un changement de version de modèle doit faire l’objet du même examen minutieux que tout autre changement de production. »
