Drapeaux rouges de l’IA, comités d’éthique et véritable menace de l’AGI aujourd’hui

Paul Dongha est responsable de l’IA responsable et de la stratégie d’IA chez NatWest Group, où il dirige le développement de cadres visant à garantir que l’intelligence artificielle est déployée de manière sûre, éthique et conforme aux attentes réglementaires.

Auparavant responsable du groupe chargé des données et de l’éthique de l’IA chez Lloyds Banking Group, Paul Dongha a été à l’avant-garde de l’intégration de la transparence, de la responsabilité et de la confiance dans les systèmes d’IA d’entreprise.

Forte d’une vaste expérience dans la manière dont les institutions financières abordent les technologies émergentes, Dongha offre une perspective lucide sur les opportunités et les risques que l’IA présente pour les entreprises et la société.

Dans cette interview exclusive avec la Champions Speakers Agency, il discute des signaux d’alarme éthiques que les RSSI et les conseils d’administration doivent surveiller, des responsabilités des régulateurs et des risques du monde réel qui exigent une attention aujourd’hui.

Q : À quels signaux d’alarme éthiques les RSSI et les conseils d’administration doivent-ils être attentifs lors du déploiement de l’IA au sein de leurs organisations ?

Paul Dongha: « Je pense que certains des problèmes et risques les plus importants que nous rencontrons avec les systèmes d’IA qui ont été révélés récemment sont des choses comme l’action humaine.

« Les systèmes d’IA ont la capacité de créer des résultats sophistiqués et, dans une certaine mesure, cela enlève aux humains leur capacité à prendre les bonnes décisions. La perte de l’action humaine est quelque chose dont nous devons être très conscients et dont le risque doit être atténué. « 

« Un autre risque est la robustesse. Les systèmes d’IA ont parfois la capacité de donner des réponses différentes aux mêmes questions, donc je pense que la robustesse technique – garantir que les systèmes d’IA génèrent le même résultat pour la même question au fil du temps – est également quelque chose qui doit être pris en compte. « 

« La confidentialité des données en est un autre. La capacité des systèmes d’IA à divulguer par inadvertance des informations confidentielles ou privées sur des individus ou des organisations est un problème contre lequel nous devons également nous prémunir.

« Je pense que la transparence est très importante. La façon dont fonctionne un système d’apprentissage automatique ou d’IA est non linéaire, il est donc difficile de comprendre comment il arrive à une décision. Il existe des techniques qui nous permettent d’introspecter comment un système d’IA a dérivé une réponse particulière, mais ce ne sont que des approximations. La transparence de l’algorithme, qu’il s’agisse d’apprentissage automatique ou d’IA générative, est quelque chose auquel nous devons prêter une attention particulière.

« Ensuite, il y a les préjugés. Nous avons vu des préjugés s’infiltrer dans de nombreux systèmes et cela enlève vraiment leur capacité à soutenir la diversité et l’inclusion. Ces préjugés peuvent être inhérents aux données qui entraînent nos systèmes d’IA ou au cycle de vie du développement du système. C’est un domaine de travail continu et avec l’IA générative, c’est un problème particulier en raison de la grande quantité de données de formation impliquées.

« Et enfin, la responsabilité. Les organisations, en particulier les organisations commerciales, doivent démontrer qu’elles ont mis en place des processus qui leur permettent de demander réparation pour les résultats d’un système d’IA. Les entreprises doivent assumer l’entière responsabilité de la manière dont elles créent des systèmes et de leur fonctionnement. »

Q : Chaque grande entreprise devrait-elle avoir un comité d’éthique de l’IA – et quelles devraient être ses attributions ?

Paul Dongha: « Lorsqu’il s’agit des dirigeants et des décideurs des grandes entreprises, je pense qu’il y a plusieurs choses ici.

« Premièrement, je pense qu’un comité d’éthique est absolument obligatoire. Il devrait être composé de cadres supérieurs issus d’horizons divers au sein de l’organisation, où ces participants ont une réelle idée de leurs clients et de ce qu’ils veulent. « 

« Ces membres doivent être formés à l’éthique, comprendre les pièges de l’intelligence artificielle et prendre des décisions concernant les applications d’IA qui sont exposées aux clients.

« Il est important de noter que ces comités d’éthique ne doivent pas s’appuyer uniquement sur les systèmes informatiques pour répondre à des questions éthiques. L’éthique se résume à une discussion entre différentes parties prenantes. Un comité d’éthique est là pour débattre et discuter des cas extrêmes, par exemple le lancement d’une application pour laquelle il peut y avoir un désaccord quant à savoir si elle pourrait causer un préjudice ou si elle pourrait surprendre les clients. « 

« Je pense également qu’un responsable de l’IA devrait être nommé au conseil d’administration de chaque banque – et sans doute de chaque grande organisation – pour superviser la gestion des risques de bout en bout des applications, tant pendant la construction qu’après le déploiement. L’éthique doit être prise en compte à chaque étape du développement et du lancement. « 

« Les pratiques de gestion des risques et la fonction d’audit devraient toutes être intégrées aux attributions d’un responsable de l’IA responsable afin d’assurer une surveillance solide. »

Q : Les régulateurs et les gouvernements agissent-ils suffisamment vite pour garder les risques liés à l’IA sous contrôle ?

Paul Dongha: « Je crois que nos gouvernements et nos institutions démocratiquement élues, ainsi que les régulateurs sectoriels, ont un rôle énorme à jouer à cet égard.

« En tant que société, nous élisons nos gouvernements pour prendre soin de nous. Nous avons un processus législatif : même pour quelque chose d’aussi simple que la conduite, nous avons des règles pour garantir que les véhicules sont manœuvrés correctement. Sans ces règles, conduire serait très dangereux. L’IA n’est pas différente : la législation et les règles concernant la manière dont l’IA est utilisée et déployée sont extrêmement importantes.

« Les entreprises sont responsables envers leurs actionnaires, donc le résultat sera toujours très important pour elles. Cela signifie qu’il ne serait pas judicieux de laisser les entreprises elles-mêmes mettre en place des garde-fous autour de l’IA. Les gouvernements doivent être impliqués dans la définition de ce qui est raisonnable ou non, de ce qui représente un risque trop élevé et de ce qui est dans l’intérêt public.

« Les entreprises technologiques doivent faire partie de cette conversation, mais elles ne devraient pas la diriger. Ces conversations doivent être menées par les institutions que nous choisissons pour veiller sur la société. »

Q : Dans quelle mesure la menace de l’intelligence artificielle générale est-elle réelle – et quels risques exigent notre attention aujourd’hui ?

Paul Dongha: « L’intelligence artificielle générale, qui consiste à rapprocher l’IA de l’intelligence humaine, est le Saint Graal de la recherche sur l’IA depuis des décennies. Nous n’en sommes pas encore là. De nombreux aspects de l’intelligence humaine – les interactions sociales, l’intelligence émotionnelle, et même des éléments de vision par ordinateur – sont des choses dont la génération actuelle d’IA est tout simplement incapable. « 

« Les technologies récentes basées sur les transformateurs semblent extrêmement sophistiquées, mais lorsque vous ouvrez le capot et examinez leur fonctionnement, elles ne fonctionnent pas de la même manière que les humains pensent ou se comportent. Je ne pense pas que nous soyons près d’atteindre l’AGI et en fait, il est peu probable que les approches actuelles nous y conduisent. « 

 » Mon message est donc qu’il n’y a pas lieu de s’inquiéter d’une situation imminente de superintelligence ou de Terminator. Mais nous devons être conscients que, dans le futur, cela est possible. Cela signifie que nous devons nous en prémunir. « 

« En attendant, la génération actuelle de l’IA présente des risques réels et pressants : la militarisation, la désinformation et la capacité pour des États néfastes d’utiliser l’IA générative pour influencer les électeurs. Même sans l’IAG, les systèmes actuels ont un grand pouvoir – et entre de mauvaises mains, ce pouvoir peut causer de graves dommages à la société. »

Cet article est publié dans le cadre du Foundry Expert Contributor Network.
Vous voulez nous rejoindre ?