10 idées sur l’état de sécurité de l’IA de la conférence RSA

Alors que vous vous promenez en essayant d’éviter les 41 000 participants à la conférence RSA à San Francisco, vous prenez conscience des voitures autonomes Waymo dans les rues qui suscitent toujours un coup d’œil supplémentaire. Oui, il n’y a pas de conducteur dans ce siège!

Les voitures Waymo visent à révolutionner le transport grâce à une technologie de conduite entièrement autonome qui offre la promesse d’un moyen plus sûr, plus accessible et durable de se déplacer.

Lors de la conférence RSA, il est difficile de ne pas voir la même proposition au niveau macro de presque tous les fournisseurs de cybersécurité qui parlent les capacités de l’IA de leurs produits et services. L’argument de vente équivaut à Waymo: ces cyber-outils compatibles AI seront plus sûrs, plus accessibles et durables.

En effet, l’IA «bien plus» est ce que nous voyons dans les offres actuelles et les feuilles de route des produits – non seulement chez RSA, mais dans toute l’industrie aujourd’hui.

Cette promesse est très séduisante pour les CISO, en particulier au dos de la pénurie très réelle de cyber-ressources qu’ils endurent. De nombreuses entreprises se tournent déjà vers l’IA pour aider à combler leurs lacunes de cyber-compétences. Mais l’avenir de la sécurité avec l’IA n’a pas encore été façonné. La façon dont cet avenir se déroulera et aura un impact sur leurs organisations devrait être au sommet de chaque CISO aujourd’hui.

RSA a offert des idées précoces intéressantes que les CISO devraient garder à l’esprit qu’ils développent davantage leurs stratégies pour la mise en œuvre des défenses de l’IA et la sécurisation de l’utilisation de l’IA dans leurs entreprises.

Façonner l’avenir de la sécurité de l’IA

Une session de panel tôt le matin à laquelle j’ai assisté a présenté une discussion animée facilitée par Jamil Jaffer, partenaire de capital-risque et conseiller stratégique chez Paladin Capital. Jason Clinton, Ciso d’Anthropic; Matt Knight, CISO d’Openai; et Sandra Joyce, vice-présidente chez Google Threat Intelligence.

Le panel a exploré comment la collaboration entre l’industrie et le gouvernement est vitale pour assurer des systèmes d’IA sécurisés. Mais la discussion autour de l’utilisation des outils d’IA pour éviter les cyberattaques et renforcer les cyber-défenses a offert du fourrage pour réfléchir qui va au-delà du cadre de la conversation.

Voici les principaux points de perspicacité autour de l’évolution de l’IA dans la cybersécurité que j’ai glanée de cette discussion avec mon propre commentaire rapide sur l’impact des CISO et des équipes de sécurité à l’avenir.

1. L’IA présente une dualité complexe pour la cybersécurité, offrant potentiellement un avantage injuste aux attaquants tout en offrant des avantages significatifs aux défenseurs

Pour le moment, il semble que l’élan est avec l’équipe de défense. Mais cette bataille vient de commencer.

2. Les défenseurs voient le développement d’outils d’IA qui peuvent accélérer l’analyse des logiciels malveillants et la numérisation de vulnérabilité, mais les mêmes outils peuvent être exploités par des acteurs malveillants.

C’est une épée à double bord qui peut également nous blesser. L’IA devient déjà un outil puissant pour les professionnels de la sécurité offensive, pour une utilisation dans les évaluations de vulnérabilité et les tests de pénétration, mais en démocratisant la chasse à la vulnérabilité, l’IA génératrice réduit également la barrière d’entrée pour les attaquants.

3. Alors que les modèles d’IA deviennent plus intelligents et que le coût de l’ingénierie sophistiquée diminue, les défenseurs pourraient obtenir des avantages dans la visibilité du paysage des menaces et les mesures de sécurité automatisées telles que les tests de pénétration et la prévention de la vulnérabilité.

Ces capacités continuent d’être un tapis roulant en cours qui créent du stress pour le CISO et l’équipe pour gérer efficacement. Mais même si l’IA génératrice contribue à des tests de pénétration plus rapides ou plus faciles, cela aggrave également la vulnérabilité.

4. Bien qu’il existe des préoccupations concernant l’utilisation de l’IA dans l’ingénierie sociale avancée et les attaques d’information, les observations actuelles suggèrent que les attaques dirigés sur l’IA n’ont pas encore dépassé les capacités humaines en sophistication et en destructivité.

Une prise rapide pourrait être que les attaques de phishing, grâce au général AI, peuvent désormais avoir une meilleure orthographe et une meilleure grammaire et sont donc plus difficiles à repérer. Mais même si le phishing tombe en tant que vecteur d’accès initial pour les cyberattaques, l’IA génératrice commence déjà à suralimenter les attaques d’ingénierie sociale en aidant également à imiter les styles d’écriture, à éviter les drapeaux rouges de phishing traditionnels et à offrir une plus grande personnalisation basée sur des données publiques.

5. Les menaces spécifiques à l’horizon comprennent la découverte automatisée de vulnérabilité, qui pourrait être exploitée par les États-nations, et le potentiel de logiciels malmorphes ou adaptatifs qui se déplacent de manière autonome dans les réseaux.

Ces nouvelles technologies pourraient être exploitées par les États-nations voyous et poser un risque significatif car ils peuvent identifier de manière autonome les faiblesses et s’adapter pour échapper à la détection, ce qui rend nos défenses traditionnelles de cybersécurité moins efficaces. Dès la sortie de la porte en 2023, Chatgpt a livré des attaques de preuve de concept qui ont généré du code polymorphe pour échapper aux systèmes de détection et de réponse de point final.

6. Les premières évaluations des modèles d’IA contre les exercices de capture-the-drapeau montrent un apprentissage rapide des compétences de base de la cybersécurité, mais des simulations d’attaque plus complexes et réelles posent toujours un défi important.

Cet écart souligne la nécessité d’un développement continu avant que l’IA ne puisse se défendre de manière fiable contre ou simuler des cyber-starts avancés. Il est encore trop tôt pour être plus qu’un assistant junior dans le centre d’opérations de sécurité.

7. Les efforts de collaboration dans le partage de l’intelligence des menaces et le développement de modèles d’IA offensants pour les tests dans des environnements contrôlés sont explorés pour mieux comprendre et préparer les menaces futures.

Ces approches proactives peuvent aider à renforcer la résilience entre les secteurs et garantir que les stratégies défensives évoluent aux côtés des menaces avancées axées sur l’IA. Mais ici, la collaboration est la clé. L’administration des États-Unis Trump a récemment déplacé la préparation aux menaces vers les gouvernements des États et locaux alors qu’il a fait des réductions de ses politiques de partage d’informations de cyber-étape.

8. L’IA est utilisée pour améliorer le travail des analystes de sécurité en traitant rapidement de grandes quantités de données de renseignement, mais la surveillance humaine reste cruciale pour la prise de décision.

Tandis que l’IA peut accélérer considérablement l’analyse des données et aider à détecter les menaces plus rapidement, il manque toujours de l’humain jugement, sensibilisation au contexte et raisonnement éthiqueNos collègues analogiques possèdent.

9. Les agents autonomes émergent qui peuvent effectuer des tâches de cyber-défense typiques et même des actions offensives dans des environnements de mise en scène.

C’est le début d’une évolution importante vers une plus grande automatisation dans les flux de travail de sécurité qui ont été basés historiquement sur des livres de jeu manuels. L’IA agentique, qui promet des capacités de prise de décision autonomes, peut être une aubaine pour les équipes de sécurité, mais leur nature autonome pourrait également faire plus de mal que de bien – et leur présence ailleurs dans l’entreprise sera un autre mal de tête pour les CISO à résoudre.

10. Malgré les risques potentiels des modèles d’IA non contraints entre les mains des adversaires, la communauté de la sécurité met l’accent sur le développement responsable, le partage des renseignements sur les menaces et l’importance des pratiques de sécurité fondamentales pour maintenir un avantage défensif.

Ceci est important car il met en évidence l’approche proactive de la communauté de sécurité pour atténuer les dangers de l’abus de l’IA. Nous devons travailler ensemble pour façonner l’avenir de l’IA qui bénéficiera aux cyber-défenses pour tous.

À l’avenir

Nous, tous dans les entreprises et le gouvernement, nous avons essayé de relever ces défis avec de nouveaux cadres et politiques de risque. Il y a des préoccupations profondes que les outils d’IA lorsqu’ils sont combinés avec des menaces d’initiés peuvent présenter un risque important.

La capacité de nos équipes à adopter ces outils est toujours limitée par notre manque de notre propre compréhension de la façon d’utiliser l’IA et cette tendance sera surmontée dans le temps. Mais comme indiqué précédemment, la dualité de l’IA – à des fins défensives et attaquantes – implique que l’attente sera à un risque accru.

Si nous attendons, alors nous acceptons le risque que nos attaquants gagnent un avantage de temps et d’espace. Et bien sûr, les attaquants n’ont pas à se soucier des politiques d’utilisation des «IA responsables».

Les CISO doivent donc trouver un moyen de faire avancer les connaissances de leurs équipes sur ce que l’IA peut faire pour renforcer la sécurité et comment il peut être utilisé pour combler les lacunes, pas seulement dans les outils de sécurité actuellement utilisés, mais dans les compétences en cours pour en tirer le meilleur parti.