Un nouvel outil d’IA permet aux cybercriminels de lancer des cyberattaques sophistiquées

15 juil. 2023THNIntelligence Artificielle / Cybercriminalité

Avec l’intelligence artificielle générative (IA) qui fait fureur ces jours-ci, il n’est peut-être pas surprenant que la technologie ait été réutilisée par des acteurs malveillants à leur propre avantage, ouvrant la voie à une cybercriminalité accélérée.

Selon les conclusions de SlashNext, un nouvel outil génératif de cybercriminalité appelé WormGPT a été annoncé sur des forums clandestins comme un moyen pour les adversaires de lancer des attaques sophistiquées de phishing et de compromission des e-mails professionnels (BEC).

« Cet outil se présente comme une alternative blackhat aux modèles GPT, conçu spécifiquement pour les activités malveillantes », a déclaré le chercheur en sécurité Daniel Kelley. a dit. « Les cybercriminels peuvent utiliser cette technologie pour automatiser la création de faux e-mails très convaincants, personnalisés en fonction du destinataire, augmentant ainsi les chances de succès de l’attaque. »

L’auteur du logiciel l’a décrit comme le « plus grand ennemi du célèbre ChatGPT » qui « vous permet de faire toutes sortes de choses illégales ».

Entre les mains d’un mauvais acteur, des outils comme WormGPT pourraient être une arme puissante, d’autant plus qu’OpenAI ChatGPT et Google Bard prennent de plus en plus de mesures pour lutter contre l’abus de grands modèles de langage (LLM) pour fabriquer des e-mails de phishing convaincants et générer mal intentionné code.

« Les restricteurs anti-abus de Bard dans le domaine de la cybersécurité sont nettement inférieurs à ceux de ChatGPT », Check Point a dit dans un rapport cette semaine. « Par conséquent, il est beaucoup plus facile de générer du contenu malveillant en utilisant les capacités de Bard. »

Plus tôt en février, la société israélienne de cybersécurité a révélé comment les cybercriminels contournent les restrictions de ChatGPT en profitant de son APIsans parler du commerce comptes premium volés et vendre des logiciels de force brute pour pirater les comptes ChatGPT en utilisant d’énormes listes d’adresses e-mail et de mots de passe.

Le fait que WormGPT fonctionne sans aucune limite éthique souligne la menace posée par l’IA générative, permettant même aux cybercriminels novices de lancer des attaques rapidement et à grande échelle sans avoir les moyens techniques de le faire.

Pire encore, les pirates font la promotion de « jailbreaks » pour ChatGPT, invites spécialisées en ingénierie et des entrées conçues pour manipuler l’outil afin de générer une sortie qui pourrait impliquer la divulgation d’informations sensibles, la production de contenu inapproprié et l’exécution de code nuisible.

« L’IA générative peut créer des e-mails avec une grammaire impeccable, les faisant paraître légitimes et réduisant la probabilité d’être signalés comme suspects », a déclaré Kelley.

« L’utilisation de l’IA générative démocratise l’exécution d’attaques BEC sophistiquées. Même les attaquants aux compétences limitées peuvent utiliser cette technologie, ce qui en fait un outil accessible à un plus large éventail de cybercriminels. »

La divulgation intervient alors que des chercheurs de Mithril Security ont modifié « chirurgicalement » un modèle d’IA open source existant connu sous le nom de GPT-J-6B pour le faire diffuser de la désinformation et le télécharger sur un référentiel public comme Visage étreignant qui pourraient ensuite être intégrés dans d’autres applications, conduisant à ce qu’on appelle un empoisonnement de la chaîne d’approvisionnement LLM.

Le succès de la technique, baptisée PoisonGPTmise sur la condition préalable que le modèle lobotomisé soit téléchargé en utilisant un nom qui imite une société connue, dans ce cas, une version typosquattée d’EleutherAI, la société derrière GPT-J.