Le nouveau système est conçu pour détecter les utilisations abusives de l’IA lors des interactions sans exposer d’invites ou de réponses.
OpenAI ajoute une nouvelle fonctionnalité de sécurité qui permet aux entreprises de détecter une utilisation abusive de leurs systèmes d’IA lors de multiples interactions sans conserver d’invites ou de réponses, permettant ainsi la surveillance des risques tout en préservant ses engagements de conservation zéro des données (ZDR).
« OpenAI ne conserve pas… les invites ou les réponses modèles après le traitement d’une demande », a déclaré la société dans un article de blog, décrivant son approche ZDR. Le nouveau système, appelé Private Safety Processing, est « conçu pour identifier des modèles dans les interactions associées sans donner au personnel d’OpenAI l’accès au contenu sous-jacent ».
Cette fonctionnalité est en cours de test auprès d’entreprises et de clients API éligibles et vise à remédier à une limitation des contrôles de sécurité existants qui évaluent les interactions individuellement, ce qui rend plus difficile la détection des risques qui se manifestent au fil du temps.
Que fait le traitement de sécurité privée
Selon OpenAI, Private Safety Processing est conçu pour étendre les systèmes de sécurité existants en corrélant les activités entre les interactions associées plutôt que d’analyser chaque invite de manière isolée.
Dans le cadre de ce modèle, les systèmes automatisés analysent les interactions et génèrent « un signal étroitement défini indiquant le type d’activité impliqué », au lieu d’exposer les invites ou les réponses sous-jacentes, selon OpenAI.
Le système peut fonctionner que les données des clients restent dans l’infrastructure contrôlée par l’entreprise ou qu’elles soient stockées par OpenAI avec des clés de cryptage contrôlées par le client, a indiqué la société.
« Dans les deux cas, les systèmes automatisés peuvent identifier une utilisation abusive potentielle et renvoyer des signaux de sécurité limités sans exposer les invites ou réponses sous-jacentes au personnel d’OpenAI », ajoute le message.
Pourquoi les contrôles de sécurité existants ne suffisent pas
OpenAI a déclaré que la nouvelle capacité vise à combler une lacune dans la détection des risques liés à l’IA.
« Les risques les plus graves pour la sécurité de l’IA ne sont pas toujours visibles dans une seule interaction », a déclaré la société, notant que l’intention nuisible ne peut devenir claire que lorsque plusieurs interactions sont visualisées ensemble.
Ces risques incluent des tentatives répétées d’enquête sur les garanties, une activité coordonnée entre les comptes et une utilisation abusive qui émerge au cours d’une séquence d’interactions, selon l’entreprise.
À mesure que les systèmes d’IA assument des tâches plus longues et plus complexes, l’évaluation isolée des invites individuelles peut limiter la capacité d’identifier de tels modèles, a déclaré OpenAI dans le message.
Des approches divergentes en matière de sécurité de l’IA
L’introduction du Private Safety Processing met en évidence les différentes approches en matière de sécurité parmi les fournisseurs d’IA.
OpenAI a déclaré que le système est conçu pour détecter les modèles d’utilisation abusive lors des interactions tout en préservant une conservation nulle des données.
En revanche, certains fournisseurs conservent les données d’interaction avec les clients pendant un certain temps pour assurer la surveillance de la sécurité, ce qui reflète une approche différente pour identifier les risques qui s’étendent sur plusieurs demandes.
Sanchit Vir Gogia, analyste en chef chez Greyhound Research, a déclaré que la différence réside dans la manière dont les preuves sont traitées plutôt que dans l’utilisation ou non des signaux.
« Il s’agit d’un désaccord sur la quantité de contenu brut dont vous avez besoin en plus d’un signal que vous conservez malgré tout, plutôt que sur la confidentialité contre la surveillance », a déclaré Gogia.
Il a ajouté que les deux approches s’appuient sur des indicateurs dérivés mais diffèrent selon l’endroit où résident les données d’enquête. « Anthropic veut suffisamment de contenu pour enquêter sur l’affaire. OpenAI veut que le client tienne l’affaire pendant que le fournisseur tient l’alarme », a-t-il déclaré.
Détection et vérification basées sur le signal
Le fait que le système s’appuie sur des signaux plutôt que sur un accès direct aux données modifie la manière dont les entreprises vérifient et enquêtent sur les incidents, ont noté les analystes.
« L’architecture est entièrement viable. La sécurité fonctionne à partir d’indicateurs dérivés depuis une génération. La difficulté est la vérification, pas la faisabilité », a déclaré Gogia.
Il a ajouté que détecter les comportements au fil du temps nécessite de conserver une certaine forme de représentation. « Un système ne peut pas détecter un comportement dans le temps à moins qu’il ne se souvienne de quelque chose au fil du temps », a-t-il déclaré.
Le traitement de sécurité privée « est une détection d’abus qui préserve la vie privée. Il ne s’agit pas d’un dossier médico-légal d’entreprise, et OpenAI ne prétend pas que ce soit le cas », a-t-il déclaré.
Implications pour les secteurs réglementés
Selon Apeksha Kaushik, analyste principal chez Gartner, cette approche pourrait influencer l’adoption de l’IA dans les secteurs ayant des exigences strictes en matière de données.
« Les modèles de sécurité préservant la confidentialité, tels que ceux utilisant la rétention zéro des données (ZDR), représentent une approche émergente qui pourrait réduire les obstacles à l’adoption de l’IA dans des secteurs réglementés comme les services financiers et la santé », a-t-elle déclaré.
De tels modèles « peuvent aider les organisations à répondre à certaines exigences en matière de confidentialité et peuvent s’aligner sur des cadres tels que le RGPD et la HIPAA, en fonction de détails de mise en œuvre spécifiques et d’orientations réglementaires », a-t-elle noté.
Kaushik a ajouté que les organisations devraient évaluer ces approches par rapport à leurs exigences de conformité. « Les organisations sont encouragées à consulter leurs équipes de conformité et juridiques pour déterminer si de telles approches répondent à leurs exigences réglementaires et opérationnelles spécifiques », a-t-elle déclaré.
OpenAI a déclaré que les entreprises conservent le contrôle de leurs données dans le cadre de ce modèle et peuvent enquêter sur les alertes en utilisant leurs propres systèmes. Les clients peuvent également choisir de partager des données pertinentes avec l’entreprise pour soutenir des enquêtes ou des appels.
Selon les analystes, cela déplace la responsabilité vers les entreprises. « La rétention zéro des données ne supprime pas le fardeau de la médecine légale. Elle le déplace », a déclaré Gogia.
