Les testeurs allèguent que de nouveaux modèles sont poussés pour le lancement avec un temps de test très réduit.
Openai, la puissance de recherche sur l’IA avec des projets populaires comme la série GPT, Codec, Dall-E et Whisper, pourrait se précipiter dans son déploiement d’IA sans protection adéquate.
Selon un rapport de Financial Times, le fabricant de Chatgpt affecte maintenant le personnel et les groupes tiers seulement quelques jours pour évaluer les risques et les performances de ses derniers modèles de langue (LLM) par rapport à plusieurs mois qui leur ont été donnés plus tôt.
Cela pourrait éventuellement avoir à voir avec la poussée pour une version de modèle plus rapide et un changement de concentration vers l’inférence (générer de nouvelles données) plutôt que de simplement des modèles de formation.
« L’IA devient un domaine très compétitif, toutes les sociétés technologiques lançant leurs modèles à couper le souffle », a déclaré Pareekh Jain, PDG et analyste principal chez Parekh Consulting. « Openai’s Edge a été que c’était un premier joueur de cette course et qu’ils devaient vouloir maintenir cet avantage et accélérer la production en réduisant le temps de test. »
Les testeurs disent qu’ils avaient plus de temps avant
OpenAI a réduit ses efforts de test de sécurité, en dédiant moins de ressources et moins de temps pour les évaluations des risques, selon huit personnes citées dans son rapport qui connaissent les processus de test d’OpenAI.
« Nous avons eu des tests de sécurité plus approfondis lorsqu’il était moins important », a déclaré le rapport FT citant l’une de leurs sources qui testaient le prochain modèle O3 d’OpenAI, tout en se référant à la technologie LLM.
L’approche d’Openai pour les tests de sécurité pour ses modèles GPT a varié au fil du temps. Pour GPT-4, la société a consacré plus de six mois à des évaluations de la sécurité avant sa libération publique. Pour le modèle OMNI GPT-4, cependant, Openai a condensé la phase de test en une semaine pour respecter une date limite de lancement de mai 2024.
Les tests réduits pourraient compromettre l’intégrité du modèle
La réduction du temps de test de sécurité pourrait avoir un impact grave sur la qualité du modèle de lancement, ajoutent les experts.
« S’il y a des cas d’hallucination ou de dégâts dus aux résultats du modèle, alors Openai perdra la confiance des gens et fera face à l’adoption déraillée », a ajouté Jain. «Il peut être blâmé à la réduction du temps de test. Déjà, Openai a un problème d’image en le convertissant d’un organisme sans but lucratif en une entreprise à but lucratif. Tout mauvais incident peut encore ternir son image selon laquelle, à but lucratif, ils sacrifient des tests responsables.»
L’une des sources a appelé la réduction du temps de test «téméraire» et une «recette de catastrophe». Une autre impliquée dans les tests GPT-4 a déclaré que certaines capacités dangereuses n’ont été découvertes que deux mois après les tests.
Bien qu’Openai n’ait pas immédiatement répondu aux demandes de commentaires, le géant de la LLM a eu l’expérience de traiter de telles allégations dans le passé.
Répondant à une réaction similaire, en septembre 2024, OpenAI a transformé son comité de sécurité en une «comité de surveillance du conseil d’administration» indépendant avec le pouvoir de retarder les lancements du modèle sur des problèmes de sécurité.
L’IA améliorée pourrait pousser des tests plus rapides
Alors que peu de doigts évidents indiquent que les tests ont augmenté comme dangereux à modéliser l’intégrité, il y a une rare moyen de le regarder. Jain a laissé entendre que la possibilité d’Openai est réellement capable d’accélérer les tests sans compromettre la sécurité.
« Openai doit également utiliser beaucoup d’IA dans leurs processus internes », a-t-il déclaré. «Ils doivent boire leur propre champagne pour convaincre le monde qu’avec, avec l’IA, ils pourraient faire des tests rapides. Nous devons leur donner le bénéfice du doute s’ils essaient d’accélérer leur lancement de modèle avec une utilisation plus d’IA.» Soutenir cette pensée est une affirmation d’OpenAI à partir de décembre 2024, où ils ont déclaré que leurs modèles de test deviennent plus capables rapidement avec l’IA.
