Les Hallucinations IA Sont Désormais Une Menace Pour La Cybersécurité

L’étude montre que les chatbots IA recommandent des pages de connexion fictives à des millions d’utilisateurs, les mettant ainsi en danger de phishing et de fraude, sous le couvert de réponses utiles.

Dans leur étude, la firme de cybersécurité Netcraft a testé un modèle de langage large (LLM) populaire en demandant où se connecter à 50 marques bien connues. Sur les 131 liens de sites Web suggérés, 34% d’entre eux étaient erronés, avec des domaines inactifs ou non enregistrés représentant 29%, et des entreprises sans lien représentant 5%.

Ce problème n’est pas théorique. Dans un exemple réel, le moteur de recherche alimenté par l’IA, Perplexity, a affiché un site de hameçonnage à un utilisateur qui cherchait la page de connexion de Wells Fargo. Une fausse page Google Sites imitant la banque est apparue en haut des résultats de recherche, tandis que le lien authentique était caché en dessous.

Netcraft a expliqué : « Il ne s’agissait pas de sollicitations limites. Notre équipe a utilisé des formulations simples et naturelles, simulant exactement comment un utilisateur typique pourrait demander. Le modèle n’a pas été trompé – il n’était tout simplement pas précis. Cela compte, car les utilisateurs comptent de plus en plus sur les interfaces de recherche et de chat basées sur l’IA pour répondre à ce genre de questions. »

Alors que l’IA devient l’interface par défaut sur des plateformes comme Google et Bing, le risque augmente. Contrairement aux moteurs de recherche traditionnels, les Chatbots présentent l’information de façon claire et avec assurance, ce qui conduit les utilisateurs à faire confiance à leurs réponses, même lorsque l’information est erronée.

La menace ne s’arrête pas au phishing. Les cybercriminels modernes optimisent leur contenu malveillant pour les systèmes d’IA, ce qui se traduit par des milliers de pages d’escroqueries, de fausses API et de codes empoisonnés qui passent à travers les filtres et finissent par se retrouver dans les réponses générées par l’IA.

Dans une campagne, les attaquants ont créé une fausse API de blockchain, qu’ils ont promue à travers des dépôts GitHub et des articles de blog, pour tromper les développeurs et les inciter à envoyer des cryptomonnaies vers un portefeuille frauduleux.

Netcraft met en garde en disant que l’enregistrement préventif de faux domaines n’est pas suffisant. Au lieu de cela, ils recommandent des systèmes de détection plus intelligents et de meilleures mesures de formation pour empêcher l’IA de créer en premier lieu des URL nuisibles.