Le directeur de la cybersécurité de la NSA dit « bouclez votre ceinture » pour l’IA générative

Au RSA conférence sur la sécurité à San Francisco cette semaine, il y avait un sentiment d’inévitabilité dans l’air. Lors de conférences et de panels dans le vaste centre de congrès Moscone, sur chaque stand de fournisseur sur le salon et lors de conversations informelles dans les couloirs, vous savez simplement que quelqu’un va évoquer l’IA générative et son impact potentiel sur la sécurité numérique et le piratage malveillant. . Le directeur de la cybersécurité de la NSA, Rob Joyce, l’a également ressenti.

« Vous ne pouvez pas vous promener dans RSA sans parler d’IA et de logiciels malveillants », a-t-il déclaré mercredi après-midi lors de sa présentation désormais annuelle « State of the Hack ». « Je pense que nous avons tous vu l’explosion. Je ne dirai pas qu’il est encore livré, mais c’est vraiment une technologie qui change la donne. »

Ces derniers mois, les chatbots alimentés par de grands modèles de langage, comme ChatGPT d’OpenAI, ont rendu des années de développement et de recherche en apprentissage automatique plus concrètes et accessibles aux personnes du monde entier. Mais il existe des questions pratiques sur la manière dont ces nouveaux outils seront manipulés et abusés par des acteurs malveillants pour développer et diffuser des logiciels malveillants, alimenter la création de désinformation et de contenu inauthentique, et étendre les capacités des attaquants à automatiser leurs piratages. Dans le même temps, la communauté de la sécurité est impatiente d’exploiter l’IA générative pour défendre les systèmes et obtenir un avantage protecteur. En ces premiers jours, cependant, il est difficile de décomposer exactement ce qui se passera ensuite.

Joyce a déclaré que la National Security Agency s’attend à ce que l’IA générative alimente des escroqueries déjà efficaces comme le phishing. De telles attaques reposent sur un contenu convaincant et convaincant pour inciter les victimes à aider involontairement les attaquants, de sorte que l’IA générative a des utilisations évidentes pour créer rapidement des communications et des supports sur mesure.

« Ce hacker natif de Russie qui ne parle pas bien l’anglais ne va plus créer un e-mail de merde à vos employés », a déclaré Joyce. « Ça va être l’anglais de langue maternelle, ça va avoir du sens, ça va passer le test de reniflement… Donc, c’est là aujourd’hui, et nous voyons des adversaires, à la fois des États-nations et des criminels, commencer à expérimenter le Génération de type ChatGPT pour leur donner des opportunités en anglais.

Pendant ce temps, bien que les chatbots IA ne soient peut-être pas en mesure de développer de nouveaux logiciels malveillants parfaitement armés à partir de zéro, Joyce a noté que les attaquants peuvent utiliser les compétences de codage dont disposent les plates-formes pour apporter de petites modifications qui pourraient avoir un effet important. L’idée serait de modifier les logiciels malveillants existants avec une IA générative afin de modifier suffisamment ses caractéristiques et son comportement pour que les outils d’analyse tels que les logiciels antivirus puissent ne pas reconnaître et signaler la nouvelle itération.

« Cela va aider à réécrire le code et à le faire de manière à en changer la signature et les attributs », a déclaré Joyce. « Ce [is] va être difficile pour nous à court terme.

En termes de défense, Joyce semblait optimiste quant au potentiel de l’IA générative pour aider à l’analyse et à l’automatisation des mégadonnées. Il a cité trois domaines dans lesquels la technologie « se révèle très prometteuse » en tant qu' »accélérateur de la défense » : l’analyse des journaux numériques, la recherche de modèles d’exploitation des vulnérabilités et l’aide aux organisations pour hiérarchiser les problèmes de sécurité. Il a toutefois averti qu’avant que les défenseurs et les communautés en viennent plus largement à dépendre de ces outils dans la vie quotidienne, ils doivent d’abord étudier comment les systèmes d’IA générative peuvent être manipulés et exploités.

Joyce a surtout souligné la nature trouble et imprévisible du moment actuel pour l’IA et la sécurité, avertissant la communauté de la sécurité de «se boucler» pour ce qui est probablement encore à venir.

« Je ne m’attends pas à une capacité technique magique générée par l’IA qui exploitera toutes les choses », a-t-il déclaré. Mais « l’année prochaine, si nous parlons ici d’une année similaire en revue, je pense que nous aurons un tas d’exemples d’où il a été militarisé, où il a été utilisé et où il a réussi. »