if ( !emtpy($headline_subheadline ) ) : ?>
Anthropic souhaite que le procureur général de Californie soit habilité à demander la suspension ordonnée par le tribunal des modèles dangereux, tandis qu’OpenAI est favorable à des contrôles d’arrêt obligatoires appliqués par les développeurs.
endif; ?>
OpenAI et Anthropic conviennent que les systèmes d’IA frontaliers nécessitent une surveillance plus forte, mais ils proposent des approches très différentes pour arrêter les modèles qui présentent de graves risques : Anthropic souhaite que les tribunaux soient habilités à suspendre les systèmes dangereux, tandis qu’OpenAI soutient que les développeurs devraient être tenus de maintenir et d’utiliser des contrôles d’arrêt efficaces.
Les propositions apparaissent dans des soumissions distinctes au gouverneur de Californie Gavin Newsom à la suite de son décret du 18 septembre ordonnant aux responsables de l’État d’envisager des garanties supplémentaires pour les systèmes d’IA frontaliers. Les deux sociétés soutiennent des évaluations de sécurité indépendantes et un reporting élargi des incidents impliquant des systèmes d’IA qui agissent au-delà des autorisations prévues.
« Si l’AG conclut, informé par l’évaluation indépendante, que les modèles d’une société d’IA frontière présentent un risque de préjudice catastrophique à court terme, elle devrait pouvoir demander une ordonnance du tribunal pour suspendre le déploiement, l’utilisation interne ou le développement ultérieur d’un modèle », a écrit Anthropic dans sa soumission du 15 octobre.
OpenAI, dans sa lettre du 20 octobre, a appelé à un amendement au projet de loi 53 du Sénat californien (SB 53).
« Nous soutenons la modification du SB 53 pour exiger que les développeurs frontaliers maintiennent des contrôles d’arrêt efficaces et l’obligation exécutoire de les utiliser lorsque des conditions dangereuses surviennent, et aucune intervention moindre ne permettrait de répondre de manière adéquate au risque », a écrit OpenAI.
Sanchit Vir Gogia, analyste en chef chez Greyhound Research, a déclaré que les deux approches répondent à des besoins complémentaires. « L’opérateur doit contenir rapidement l’activité dangereuse. Un examen indépendant doit examiner à la fois l’intervention et l’inaction », a-t-il déclaré.
Le décret de Newsom, N-9-26, ordonne à l’Agence des opérations gouvernementales de Californie, en consultation avec le Bureau des services d’urgence du gouverneur et des experts nationaux, de soumettre des recommandations d’ici le 16 novembre sur d’éventuelles modifications des lois existantes sur la sécurité de l’IA. L’ordonnance demande aux responsables d’examiner les vérifications indépendantes au sein des laboratoires d’IA, les contrôles indépendants des évaluations de sécurité, les mécanismes d’arrêt vérifiés et le reporting élargi des incidents de sécurité critiques. Il n’impose pas lui-même les exigences proposées.
Vérification indépendante
Anthropic souhaite que les évaluateurs évaluent les allégations de sécurité des développeurs et publient leurs propres conclusions.
« Nous soutenons fermement l’exigence d’une vérification indépendante de ce que les entreprises d’IA de pointe déclarent sur les risques de leurs modèles et si ces risques sont suffisamment atténués », a écrit la société.
Il proposait d’exiger des développeurs qu’ils publient des rapports sur les risques au moins tous les six mois, couvrant les risques graves liés à leurs modèles, y compris les modèles utilisés en interne nettement plus risqués que les systèmes publiés. Les évaluateurs doivent recevoir des rapports non expurgés et avoir accès aux modèles les plus performants des développeurs et aux informations internes pertinentes.
Anthropic a également proposé que les développeurs cotisent à un fonds commun administré par l’État pour financer les évaluateurs, plutôt que de les payer directement. Il a indiqué qu’une équipe de l’organisation d’évaluation indépendante METR avait bénéficié d’un accès similaire à celui d’un employé à titre pilote, et que d’autres partenariats impliquant SecureBio et Accenture étaient en cours de développement.
OpenAI, dans sa lettre, a déclaré qu’il soutenait les évaluations techniques indépendantes mais les distinguait des audits de conformité. Les évaluations techniques examineraient les preuves étayant les allégations de sécurité des développeurs et l’efficacité des mesures de protection ; des audits de conformité vérifieraient si les entreprises respectent leurs cadres de sécurité et leurs obligations légales publiés, ajoute-t-il.
OpenAI a recommandé des audits de conformité indépendants annuels et des évaluations techniques ciblées des risques graves découlant de la formation, de l’évaluation et du déploiement interne du modèle. Il a également exhorté la Californie à travailler avec le National Institute of Standards and Technology pour développer des normes d’évaluation communes.
Gogia a déclaré que la surveillance nécessite plus que du financement. « Une assurance crédible doit survivre à une conclusion défavorable », a-t-il déclaré.
Au-delà d’un simple interrupteur
OpenAI a fait valoir qu’un seul kill switch ne répondrait pas aux différentes manières dont les systèmes d’IA fonctionnent et sont déployés.
« Nous recommandons d’utiliser le terme » contrôles d’arrêt « car cela nécessitera le développement de plusieurs contrôles et une action coordonnée de la part de différents acteurs pour arrêter les opérations d’IA lorsque cela est nécessaire, plutôt qu’un simple changement », a écrit la société dans la lettre.
Les interventions peuvent inclure l’arrêt d’une exécution de formation, l’isolement d’un agent IA, la révocation d’un outil ou de l’accès au réseau, ou la suspension d’un service. OpenAI a déclaré que les responsabilités devraient s’étendre aux fournisseurs d’inférence et aux déployeurs en aval en fonction des opérations qu’ils contrôlent. Il a également noté que les développeurs ne peuvent pas désactiver de manière fiable les copies indépendantes des modèles ouverts exécutés sur des systèmes externes.
Anthropic a également plaidé en faveur de garanties plus ciblées. « Nous pensons qu’une métaphore plus appropriée pour décrire ce que les entreprises d’IA de pointe doivent construire est un disjoncteur », écrit-il, préconisant des contrôles pouvant contenir des problèmes au niveau d’un agent, d’un client, d’un environnement de déploiement ou d’un modèle.
Pour les entreprises, a déclaré Gogia, les responsabilités contractuelles en matière de fermeture devraient correspondre aux contrôles que chaque partie possède réellement. Les accords devraient préciser l’autorité d’intervention, la coopération en matière de signalement des incidents et qui peut autoriser un redémarrage.
« Chaque tâche assignée nécessite un contrôle exécutable », a-t-il déclaré, ajoutant que les DSI devraient tester les processus de récupération plutôt que de supposer que le passage à un modèle alternatif préserverait la sécurité des opérations. Les deux sociétés ont également appelé à une déclaration plus large des incidents impliquant des modèles qui contournent les garanties ou prennent des mesures non autorisées.
