L’ère du piratage de l’IA est plus proche que vous ne le pensez

Et enfin, la sophistication : les hacks assistés par l’IA ouvrent la porte à des stratégies complexes au-delà de celles qui peuvent être conçues par l’esprit humain sans aide. Les analyses statistiques sophistiquées des IA peuvent révéler des relations entre les variables, et donc des exploits possibles, que les meilleurs stratèges et experts n’auraient peut-être jamais reconnus. Cette sophistication peut permettre aux IA de déployer des stratégies qui subvertissent plusieurs niveaux du système cible. Par exemple, une IA conçue pour maximiser la part de vote d’un parti politique peut déterminer une combinaison précise de variables économiques, de messages de campagne et d’ajustements de procédure de vote qui pourraient faire la différence entre la victoire et la défaite électorales, prolongeant la révolution que le logiciel de cartographie a apportée au gerrymandering dans tous les aspects de la démocratie. Et cela n’entre même pas dans les astuces difficiles à détecter qu’une IA pourrait suggérer pour manipuler le marché boursier, les systèmes législatifs ou l’opinion publique.

À la vitesse, à l’échelle, à la portée et à la sophistication de l’ordinateur, le piratage deviendra un problème que nous, en tant que société, ne pourrons plus gérer.

Je me souviens d’une scène du film Terminateur, dans lequel Kyle Reese décrit à Sarah Connor le cyborg qui la chasse : « Ça ne se négocie pas. Cela ne peut pas être raisonné. Il ne ressent ni pitié, ni remords, ni peur. Et ça ne s’arrêtera absolument pas, jamais.… » On n’a pas affaire à littéral assassins cyborg, mais alors que l’IA devient notre adversaire dans le monde du piratage social, nous pourrions trouver tout aussi difficile de suivre sa capacité inhumaine à chasser nos vulnérabilités.

Certains chercheurs en IA s’inquiètent de la mesure dans laquelle des IA puissantes pourraient surmonter leurs contraintes imposées par l’homme et, potentiellement, dominer la société. Bien que cela puisse sembler être une spéculation sauvage, c’est un scénario qui mérite au moins d’être pris en compte et d’être prévenu.

Aujourd’hui et dans un avenir proche, cependant, le piratage décrit dans ce livre sera perpétré par les puissants contre le reste d’entre nous. Toutes les IA existantes, qu’elles soient sur votre ordinateur portable, en ligne ou incorporées dans un robot, sont programmées par d’autres personnes, généralement dans leur intérêt et non dans le vôtre. Bien qu’un appareil connecté à Internet comme Alexa puisse imiter votre ami de confiance, n’oubliez jamais qu’il est conçu pour vendre les produits d’Amazon. Et tout comme le site Web d’Amazon vous pousse à acheter ses marques maison au lieu des produits de qualité supérieure de ses concurrents, il n’agira pas toujours dans votre meilleur intérêt. Cela piratera votre confiance en Amazon pour les objectifs de ses actionnaires.

En l’absence de toute réglementation significative, nous ne pouvons vraiment rien faire pour empêcher le piratage de l’IA de se développer. Nous devons accepter que c’est inévitable et construire des structures de gouvernance robustes qui peuvent réagir rapidement et efficacement en normalisant les piratages bénéfiques dans le système et en neutralisant ceux qui sont malveillants ou qui endommagent par inadvertance.

Ce défi soulève des questions plus profondes et plus difficiles que la façon dont l’IA évoluera ou comment les institutions peuvent y répondre : quels hacks sont considérés comme bénéfiques ? Lesquels sont dommageables ? Et qui décide ? Si vous pensez que le gouvernement devrait être suffisamment petit pour se noyer dans une baignoire, alors vous pensez probablement que les hacks qui réduisent la capacité du gouvernement à contrôler ses citoyens sont généralement bons. Mais vous ne voudrez peut-être toujours pas substituer les suzerains technologiques aux politiques. Si vous croyez au principe de précaution, vous voulez qu’autant d’experts testent et jugent les hacks que possible avant qu’ils ne soient intégrés à nos systèmes sociaux. Et vous voudrez peut-être appliquer ce principe plus en amont, aux institutions et aux structures qui rendent ces piratages possibles.

Les questions continuent. Les hacks créés par l’IA doivent-​ils être gouvernés localement ou globalement ? Par les administrateurs ou par référendum ? Ou y a-t-il un moyen de laisser le marché ou les groupes de la société civile décider ? (Les efforts actuels pour appliquer des modèles de gouvernance aux algorithmes sont un premier indicateur de la façon dont cela se passera.) Les structures de gouvernance que nous concevons accorderont à certaines personnes et organisations le pouvoir de déterminer les hacks qui façonneront l’avenir. Nous devrons nous assurer que ce pouvoir est exercé judicieusement.

Extrait de L’esprit d’un hacker : comment les règles de la puissante société de courbure et comment les faire reculer par Bruce Schneier. Copyright © 2023 par Bruce Schneier. Utilisé avec la permission de l’éditeur, WW Norton & Company, Inc. Tous droits réservés.