Une mauvaise protection des données permettait aux employés de consulter les données de chacun, créant ainsi un problème de confiance.
Un vaste programme de Meta visant à collecter un large éventail de données auprès des employés pour former son modèle d’IA a été gelé après que des employés auraient franchi ses garde-fous et accédé à des données restreintes, puis l’auraient fait à nouveau après que Meta ait affirmé avoir corrigé la vulnérabilité.
Que la collecte de données par le propriétaire de Facebook, estimé à 201 milliards de dollars, soit une bonne idée ou non, les analystes affirment que les protections des données déployées étaient terriblement inadéquates, compte tenu de la nature extrêmement sensible des données collectées.
« Meta avait les ressources nécessaires pour réussir, et pourtant, ils ont échoué de façon exponentielle », a déclaré Karianne Michelle, directrice du cabinet de conseil Acceligence. « C’est à cela que cela ressemble lorsque la décision politique et l’exécution technique se déroulent dans deux salles différentes qui ne sont pas totalement synchronisées. C’est le genre de fossé que l’on constate assez souvent dans les organisations soumises à des contraintes structurelles. »
Fritz Jean-Louis, conseiller principal en cybersécurité chez Info-Tech Research Group, est du même avis.
« Ce que nous venons d’observer dans l’histoire de Meta est un mode d’échec classique dans la stratégie de données de l’ère de l’IA : collecter des données télémétriques à haut risque sans contrôles d’accès tout aussi matures », a déclaré Jean-Louis. « À cette échelle, une seule mauvaise configuration transforme les données internes en une exposition systémique. »
L’histoire, détaillée dans un rapport, impliquait un programme que Meta a déployé en avril appelé Model Compatibility Initiative (MCI), qui collecte les entrées de l’ordinateur telles que les mouvements de la souris, les emplacements des clics et les frappes au clavier, ainsi que le contenu de l’écran, selon l’article. Les employés de Meta n’étaient initialement pas autorisés à se retirer.
Les données collectées comprenaient des invites et des transcriptions complètes, des conversations privées, des données sur les personnes et leurs performances, a déclaré Wired, ajoutant : « Les dirigeants de Meta ont défendu à plusieurs reprises le projet de collecte de données, affirmant qu’il était nécessaire de former les systèmes d’IA pour faire fonctionner les logiciels informatiques comme le font les humains, et que les employés étaient les meilleurs exemples pour que l’intelligence artificielle puisse apprendre. »
Wired a également cité Stéphane Kasriel, vice-président de Meta supervisant la recherche sur l’IA, qui a déclaré que l’entreprise avait découvert que des employés non autorisés avaient accédé aux données MCI le 18 juin et que le trou avait été comblé « dans les quatre heures ». Mais, a-t-il ajouté, « la solution initiale n’a pas fonctionné et l’accès aux données a dû être davantage verrouillé ».
Une « surface de responsabilité »
Les analystes, consultants et professionnels du secteur se sont déclarés plus préoccupés par les protections inadéquates que par l’exposition sous-jacente des données.
Carmi Levy, une analyste technologique indépendante, a déclaré que même si la « surveillance orwellienne des frappes au clavier et des mouvements de la souris des travailleurs » devrait susciter des inquiétudes, le plus gros problème réside dans les protections ultra-fines utilisées pour protéger ces données.
« Aussi effrayant que soit et soit MCI, la raison pour laquelle Meta a appuyé sur le bouton pause n’a rien à voir avec le flou moral et éthique de la surveillance quotidienne des employés, mais tout à voir avec son échec à sécuriser les données qu’il a collectées au cours du processus », a déclaré Levy. « Il est envisageable qu’il reprenne la surveillance et la collecte de données une fois qu’il aura pleinement compris comment des données hautement sensibles, telles que les conversations privées des employés, les données de performance et les transcriptions, ont fini par être partagées par inadvertance avec l’ensemble du personnel. »
L’un des problèmes de fond critiques est que, même si les données collectées étaient très sensibles, elles ne constituaient pas, du point de vue strict du droit de la conformité, des informations personnelles identifiables. Cette distinction aurait pu donner à Meta un faux sentiment de sécurité et la convaincre que les données ne méritaient pas de fortes protections.
« Je pense que les entreprises peuvent se sentir un peu trop à l’aise en disant : « Eh bien, ce ne sont pas des informations personnelles », comme si cela rendait les données à faible risque », a déclaré Tom Findling, PDG de Conifers.ai. « Mais les invites internes, les transcriptions, les discussions, les tableaux de données et les notes de performances peuvent vous en dire beaucoup sur le fonctionnement d’une entreprise, ce qu’elle construit et où les choses sont compliquées ou exposées. C’est sensible, même s’il ne s’agit pas du numéro de sécurité sociale de quelqu’un. »
Findling a fait valoir que les dirigeants de Meta « voulaient faire semblant de ne pas comprendre » à quel point les données collectées étaient sensibles, et c’était leur excuse pour expliquer pourquoi ils ne devraient pas avoir à les protéger suffisamment. « Il ne fait aucun doute que Meta n’a pas évalué cela à un niveau de risque approprié », a-t-il déclaré.
Jean-Louis d’Info-Tech s’est particulièrement offusqué des détails des données collectées.
« Les données comportementales des employés, telles que les frappes au clavier, les captures d’écran et les modèles d’utilisation, sont effectivement sensibles par défaut. Si vous les utilisez pour former l’IA, vous devez les traiter comme des secrets de production, et non comme des épuisements analytiques », a déclaré Jean-Louis. « Lorsque des milliers de tables internes sont largement accessibles, vous disposez d’une surface de responsabilité plutôt que d’une plate-forme de données. De nos jours, la confiance est un contrôle de sécurité. Une fois que les employés pensent que leurs données sont surcollectées ou sous-protégées, vous introduisez à la fois un risque interne et une atteinte à votre réputation. »
Michelle d’Acceligence a fait écho aux préoccupations de Jean-Louis.
« Les données exposées par Meta ne constituent pas le véritable risque. La politique de sécurité ne fonctionne que si les gens y croient, et c’est exactement ce qui est maintenant en question », a déclaré Michelle. « C’est dans cette lacune que des incidents comme celui-ci font des dégâts : une fois que les employés cessent de faire confiance à ce que disent les dirigeants à propos de leurs propres données, le doute s’installe dans chaque politique qui suit, produisant des solutions de contournement, une non-conformité discrète et des employés qui cessent de lever l’alarme. »
