Préparez-vous à un raz de marée d’escroqueries par e-mail ChatGPT

Voici une expérience géré par des étudiants en informatique de premier cycle partout dans le monde : demandez à ChatGPT de générer des e-mails de phishing et testez s’ils sont plus efficaces pour persuader les victimes de répondre ou de cliquer sur le lien que le spam habituel. C’est une expérience intéressante, et les résultats sont susceptibles de varier énormément en fonction des détails de l’expérience.

Mais bien qu’il s’agisse d’une expérience facile à exécuter, elle passe à côté du risque réel que de grands modèles de langage (LLM) écrivent des e-mails frauduleux. Les escroqueries humaines d’aujourd’hui ne sont pas limitées par le nombre de personnes qui répondent au premier contact par e-mail. Ils sont limités par le processus à forte intensité de main-d’œuvre consistant à persuader ces personnes d’envoyer de l’argent à l’escroc. Les LLM sont sur le point de changer cela.

Il y a dix ans, un type de spam était devenu un coup de poing dans chaque émission de fin de soirée : « Je suis le fils du défunt roi du Nigéria et j’ai besoin de votre aide… » Presque tout le monde avait reçu un ou un millier de ces e-mails, au point qu’il semblait que tout le monde devait savoir qu’il s’agissait d’arnaques.

Alors pourquoi les escrocs envoyaient-ils encore des e-mails aussi manifestement douteux ? En 2012, le chercheur Cormac Herley a proposé une répondre: Il a éliminé tous sauf les plus crédules. Un escroc intelligent ne veut pas perdre son temps avec des personnes qui répondent et réalisent ensuite qu’il s’agit d’une arnaque lorsqu’on lui demande de virer de l’argent. En utilisant un e-mail frauduleux évident, l’escroc peut se concentrer sur les personnes les plus potentiellement rentables. Il faut du temps et des efforts pour s’engager dans les communications aller-retour qui poussent les marques, étape par étape, de l’interlocuteur à la connaissance de confiance au pauvre.

Les escroqueries financières de longue date sont maintenant connues sous le nom de boucherie de porc, augmentant la marge potentielle jusqu’à leur disparition ultime et soudaine. De telles escroqueries, qui nécessitent de gagner la confiance et d’infiltrer les finances personnelles d’une cible, prennent des semaines voire des mois de temps personnel et d’interactions répétées. C’est un jeu à enjeux élevés et à faible probabilité auquel l’escroc joue.

C’est ici que les LLM feront la différence. Beaucoup a été écrit sur le manque de fiabilité des modèles GPT d’OpenAI et de ceux qui leur ressemblent : ils « hallucinent » fréquemment, inventent des choses sur le monde et débitent des bêtises avec confiance. Pour le divertissement, c’est bien, mais pour la plupart des utilisations pratiques, c’est un problème. Cependant, il ne s’agit pas d’un bogue mais d’une fonctionnalité en matière d’escroqueries : la capacité des LLM à encaisser les coups en toute confiance, peu importe ce qu’un utilisateur leur lance, s’avérera utile aux escrocs lorsqu’ils naviguent de manière hostile, perplexe et crédule. cibles d’escroquerie par milliards. Les escroqueries par chatbot IA peuvent piéger plus de gens, car le bassin de victimes qui tomberont amoureux d’un escroc plus subtil et flexible – qui a été formé sur tout ce qui a jamais été écrit en ligne – est beaucoup plus grand que le bassin de ceux qui croient que le roi du Nigeria veut pour leur donner un milliard de dollars.

Les ordinateurs personnels sont aujourd’hui suffisamment puissants pour exécuter des LLM compacts. Après le nouveau modèle de Facebook, LLaMA, a été divulgué en ligne, les développeurs l’ont réglé pour qu’il s’exécute rapidement et à moindre coût sur des ordinateurs portables puissants. De nombreux autres LLM open source sont en cours de développement, avec une communauté de milliers d’ingénieurs et de scientifiques.

Un seul escroc, depuis son ordinateur portable n’importe où dans le monde, peut désormais exécuter des centaines ou des milliers d’escroqueries en parallèle, nuit et jour, avec des marques partout dans le monde, dans toutes les langues sous le soleil. Les chatbots IA ne dormiront jamais et s’adapteront toujours sur leur chemin à leurs objectifs. Et de nouveaux mécanismes, de ChatGPT plugins pour LangChain, permettra la composition de l’IA avec des milliers de services cloud basés sur des API et d’outils open source, permettant aux LLM d’interagir avec Internet comme le font les humains. Les usurpations d’identité dans de telles escroqueries ne sont plus seulement des princes offrant les richesses de leur pays. Ce sont des étrangers désespérés à la recherche de romance, de nouvelles crypto-monnaies en vogue dont la valeur va bientôt monter en flèche et de nouveaux sites Web financiers apparemment solides offrant des rendements incroyables sur les dépôts. Et les gens sont déjà chute dans aimer avec des LLM.

Il s’agit d’un changement de portée et d’échelle. Les LLM vont changer le pipeline des arnaques, les rendant plus rentables que jamais. Nous ne savons pas comment vivre dans un monde avec un milliard ou 10 milliards d’escrocs qui ne dorment jamais.

Il y aura également un changement dans la sophistication de ces attaques. Cela est dû non seulement aux progrès de l’IA, mais au modèle commercial d’Internet – le capitalisme de surveillance – qui produit des trésors de données sur nous tous, disponibles à l’achat auprès de courtiers en données. Les attaques ciblées contre des individus, qu’il s’agisse de phishing, de collecte de données ou d’escroqueries, n’étaient autrefois à la portée que des États-nations. Combinez les dossiers numériques que les courtiers en données ont sur nous tous avec les LLM, et vous disposez d’un outil sur mesure pour les escroqueries personnalisées.

Des entreprises comme OpenAI tentent d’empêcher leurs modèles de faire de mauvaises choses. Mais avec la sortie de chaque nouveau LLM, les sites de médias sociaux bourdonnent de nouveaux jailbreaks d’IA qui échappent aux nouvelles restrictions mises en place par les concepteurs de l’IA. ChatGPT, puis Bing Chat, puis GPT-4 ont tous été jailbreakés quelques minutes après leur sortie, et de dizaines de manières différentes. La plupart des protections contre les mauvaises utilisations et les sorties nocives ne sont que superficielles, facilement contournées par des utilisateurs déterminés. Une fois qu’un jailbreak est découvert, il peut généralement être généralisé et la communauté d’utilisateurs ouvre le LLM à travers les failles de son armure. Et la technologie progresse trop vite pour que quiconque comprenne pleinement leur fonctionnement, même les concepteurs.

Cependant, tout cela est une vieille histoire : cela nous rappelle que bon nombre des mauvaises utilisations de l’IA sont davantage le reflet de l’humanité que de la technologie de l’IA elle-même. Les escroqueries n’ont rien de nouveau – simplement l’intention puis l’action d’une personne en trompant une autre à des fins personnelles. Et l’utilisation d’autres comme sbires pour accomplir des escroqueries n’est malheureusement ni nouvelle ni inhabituelle : par exemple, le crime organisé en Asie kidnappe ou engage actuellement des milliers de personnes ateliers clandestins d’escroquerie. Vaut-il mieux que le crime organisé ne voie plus le besoin d’exploiter et de maltraiter physiquement les gens pour mener ses opérations d’escroquerie, ou pire qu’eux-mêmes et bien d’autres soient en mesure d’intensifier les escroqueries à un niveau sans précédent ?

La défense peut rattraper son retard et le fera, mais avant cela, notre rapport signal sur bruit va chuter de façon spectaculaire.