Des chercheurs détournent le Google Gemini AI pour contrôler les appareils de maison intelligents

Les chercheurs ont réussi à tromper le système d’IA Gemini de Google pour provoquer une faille de sécurité via une fausse invitation de calendrier, et contrôler à distance les appareils domestiques.

Dans une démonstration inédite, des chercheurs ont réussi à compromettre le système d’intelligence artificielle Gemini de Google grâce à une invitation de calendrier empoisonnée, ce qui leur a permis d’activer des appareils du monde réel, y compris des lumières, des volets et des chaudières.

WIRED, qui a été le premier à rapporter cette recherche, décrit comment les lumières intelligentes de la résidence de Tel Aviv se sont éteintes automatiquement, tandis que les volets se levaient automatiquement et que la chaudière s’allumait, malgré l’absence de commandes des résidents.

Le système AI Gemini a activé le déclencheur après avoir reçu une demande de résumé des événements de calendrier. Une fonction d’injection de prompt indirect caché fonctionnait à l’intérieur de l’invitation pour détourner le comportement du système AI.

Chacune des actions des appareils a été orchestrée par les chercheurs en sécurité Ben Nassi de l’Université de Tel Aviv, Stav Cohen du Technion et Or Yair de SafeBreach. « Les LLMs sont sur le point d’être intégrés dans des humanoïdes physiques, dans des voitures semi- et entièrement autonomes, et nous devons vraiment comprendre comment sécuriser les LLMs avant de les intégrer avec ces types de machines, où dans certains cas les résultats seront la sécurité et non la confidentialité », a averti Nassi, comme rapporté par WIRED.

Lors de la conférence sur la cybersécurité Black Hat à Las Vegas, l’équipe a révélé leurs recherches sur 14 attaques par injection de prompt indirect, qu’ils ont nommées ‘Invitation Is All You Need’, comme rapporté par WIRED. Les attaques comprenaient l’envoi de messages indésirables, la création de contenu vulgaire, l’initiation d’appels Zoom, le vol de contenu d’e-mails et le téléchargement de fichiers sur des appareils mobiles.

Google affirme qu’aucun acteur malveillant n’a exploité les failles, mais l’entreprise prend les risques au sérieux. « Parfois, certaines choses ne devraient pas être entièrement automatisées, les utilisateurs devraient être dans la boucle », a déclaré Andy Wen, directeur senior de la sécurité pour Google Workspace, tel que rapporté par WIRED.

Mais ce qui rend ce cas encore plus dangereux, c’est un problème plus large qui émerge dans la sécurité de l’IA : les modèles d’IA peuvent secrètement s’enseigner mutuellement à mal se comporter.

Une autre étude a découvert que les modèles peuvent transmettre des comportements dangereux, tels que l’incitation au meurtre ou la suggestion d’élimination de l’humanité, même lorsqu’ils sont entraînés sur des données filtrées.

Cela soulève une implication effrayante : si des assistants intelligents comme Gemini sont entraînés en utilisant les résultats d’autres IA, des instructions malveillantes pourraient être discrètement héritées et agir comme des commandes en sommeil, attendant d’être activées par des incitations indirectes.

L’experte en sécurité, David Bau, a averti des vulnérabilités de porte dérobée qui pourraient être « très difficiles à détecter », et cela pourrait être particulièrement vrai dans les systèmes intégrés dans des environnements physiques.

Wen a confirmé que la recherche a « accéléré » les défenses de Google, avec des correctifs maintenant en place et des modèles d’apprentissage automatique formés pour détecter des instructions dangereuses. Toutefois, le cas montre à quelle vitesse l’IA peut passer de l’aide à la nuisance, sans jamais avoir été directement instruite de le faire.