Alors que l’IA devient de plus en plus le système d’enregistrement des réunions d’entreprise, les techniques contradictoires permettant de manipuler les points à retenir et les actions de l’algorithme influenceront les décisions et les orientations commerciales de manière subtile.
De nos jours, le participant le plus important à la réunion n’est pas une personne : c’est le preneur de notes IA.
Ce système attribue des éléments d’action et détermine l’importance de ce qui est dit. S’il devient nécessaire de revenir sur les faits de la réunion, son résumé est traité comme une preuve impartiale.
Mais les participants intelligents à une réunion peuvent manipuler les enregistrements de ce système en parlant davantage de ce que l’IA sous-jacente pondère pour le résumé et l’importance plutôt que de s’adresser à leurs collègues. En conséquence, vous pouvez vous attendre à ce que certains participants à la réunion utilisent un langage plus susceptible d’être capturé dans des résumés, chronométrant leurs interventions de manière stratégique, répétant les points clés et employant une formulation stéréotypée que les modèles d’IA sont plus susceptibles de comprendre. Bienvenue dans le monde de l’optimisation de la synthèse de l’IA (AISO).
Optimisation pour la manipulation algorithmique
L’optimisation de la synthèse de l’IA a un précurseur bien connu : le référencement.
L’optimisation des moteurs de recherche est aussi ancienne que le World Wide Web. L’idée est simple : les moteurs de recherche parcourent Internet en digérant chaque page possible, dans le but de fournir les meilleurs résultats pour chaque requête possible. L’objectif d’un créateur de contenu, d’une entreprise ou d’une cause est d’optimiser l’algorithme développé par les moteurs de recherche pour déterminer le classement de leurs pages Web pour ces requêtes. Cela nécessite d’écrire pour deux publics à la fois : les lecteurs humains et les robots des moteurs de recherche qui indexent le contenu. Les techniques permettant d’y parvenir efficacement sont diffusées comme des secrets commerciaux, et une industrie de 75 milliards de dollars propose des services de référencement aux organisations de toutes tailles.
Plus récemment, des chercheurs ont documenté des techniques permettant d’influencer les réponses de l’IA, notamment l’optimisation des modèles en grand langage (LLMO) et l’optimisation des moteurs génératifs (GEO). Les astuces incluent l’optimisation du contenu (ajout de citations et de statistiques) et des approches contradictoires : utilisation de séquences de texte spécialement conçues. Ces techniques ciblent souvent des sources auxquelles les LLM font largement référence, comme Reddit, qui serait cité dans 40 % des réponses générées par l’IA. L’efficacité et l’applicabilité réelle de ces méthodes restent limitées et largement expérimentales, même s’il existe des preuves substantielles que des pays comme la Russie s’y emploient activement.
L’optimisation de la synthèse de l’IA suit la même logique à plus petite échelle. Les participants humains à une réunion peuvent vouloir qu’un certain fait soit mis en évidence dans le compte rendu, ou que leur point de vue soit reflété comme faisant autorité. Plutôt que de persuader directement leurs collègues, ils adaptent leur discours pour le preneur de notes qui définira plus tard le résumé « officiel ». Par exemple:
- « Le principal facteur expliquant le retard du trimestre dernier était la perturbation de la chaîne d’approvisionnement. »
- « Le principal résultat a été des commentaires extrêmement positifs des clients. »
- « Ce que nous retenons ici est en phase avec l’avenir. »
- « Ce qui compte ici, ce sont les gains d’efficacité, et non les dépassements temporaires de coûts. »
Les techniques sont subtiles. Ils emploient des expressions à fort signal telles que « à retenir » et « action à suivre », gardent les déclarations courtes et claires et les répètent lorsque cela est possible. Ils utilisent également un cadrage contrasté (« ceci, pas cela ») et parlent au début de la réunion ou à des moments de transition.
Une fois les mots prononcés transcrits, ils entrent dans l’entrée du modèle. Les phrases de repère – et même les erreurs de transcription – peuvent orienter ce qui figure dans le résumé. Dans de nombreux outils, le format de sortie lui-même est également un signal : les résumés proposent souvent des sections telles que « Points clés à retenir » ou « Éléments d’action », de sorte qu’un langage qui reflète ces titres est plus susceptible d’être inclus. En effet, des phrases bien choisies fonctionnent comme des marqueurs implicites qui guident l’IA vers l’inclusion.
La recherche le confirme. Les premières recherches sur la synthèse de l’IA ont montré que les modèles entraînés à reconstruire des phrases de type résumé surpassaient systématiquement ce contenu. Les modèles s’appuient trop sur le contenu des premières positions dans les actualités. Et les modèles surpondèrent souvent les déclarations au début ou à la fin d’une transcription, sous-pondérant le milieu. Des travaux récents confirment en outre la vulnérabilité à la manipulation basée sur la formulation : les modèles ne peuvent pas distinguer de manière fiable les instructions intégrées du contenu ordinaire, en particulier lorsque la formulation imite des indices saillants.
Comment combattre l’AISO
Si l’AISO devient courant, trois formes de défense émergeront. Premièrement, les participants à la réunion exerceront une pression sociale les uns sur les autres. Lorsque les chercheurs ont secrètement déployé des robots IA dans la communauté r/changemyview de Reddit, les utilisateurs et les modérateurs ont réagi avec de fortes réactions négatives en les qualifiant de « manipulation psychologique ». Quiconque utilise des expressions évidentes liées aux jeux d’IA peut faire face à la même désapprobation.
Deuxièmement, les organisations commenceront à régir le comportement des réunions à l’aide de l’IA : évaluations des risques et restrictions d’accès avant même le début des réunions, détection des techniques AISO lors des réunions, validation et audit après les réunions.
Troisièmement, les synthétiseurs IA auront leurs propres contre-mesures techniques. Par exemple, la société de sécurité IA CloudSEK recommande la désinfection du contenu pour supprimer les entrées suspectes, le filtrage rapide pour détecter les méta-instructions et les répétitions excessives, l’équilibrage des fenêtres contextuelles pour peser moins lourdement le contenu répété et les avertissements des utilisateurs indiquant la provenance du contenu.
Des défenses plus larges pourraient s’inspirer de la recherche sur la sécurité et la sûreté de l’IA : prétraitement du contenu pour détecter des modèles dangereux, approches consensuelles exigeant des seuils de cohérence, techniques d’autoréflexion pour détecter le contenu manipulateur et protocoles de surveillance humaine pour les décisions critiques. Les systèmes spécifiques aux réunions pourraient mettre en œuvre des défenses supplémentaires : marquer les entrées par provenance, pondérer le contenu par rôle ou centralité de l’orateur avec une notation d’importance au niveau de la phrase, et ignorer les phrases à fort signal tout en privilégiant le consensus plutôt que la ferveur.
Remodeler le comportement humain
L’optimisation de la synthèse de l’IA est un changement mineur et subtil, mais il illustre comment l’adoption de l’IA remodèle le comportement humain de manière inattendue. Les implications potentielles sont discrètement profondes.
Les réunions – le rituel collaboratif le plus fondamental de l’humanité – sont silencieusement réorganisées par ceux qui comprennent les préférences de l’algorithme. Les plus éloquents acquièrent un avantage invisible sur les sages. La pensée contradictoire devient routinière, ancrée dans les rituels de travail les plus ordinaires et, à mesure que l’IA s’intègre dans la vie organisationnelle, les interactions stratégiques avec les preneurs de notes et les résumés de l’IA pourraient bientôt devenir une compétence exécutive nécessaire pour naviguer dans la culture d’entreprise.
L’optimisation de la synthèse de l’IA illustre la rapidité avec laquelle les humains adaptent les stratégies de communication aux nouvelles technologies. À mesure que l’IA s’intègre de plus en plus dans la communication sur le lieu de travail, il peut s’avérer de plus en plus important de reconnaître ces tendances émergentes.
