Des Agents IA Majeurs Trouvés Vulnérables au Détournement, Selon une Étude

Certaines des IA assistants les plus largement utilisées de Microsoft, Google, OpenAI et Salesforce peuvent être détournées par des attaquants avec peu ou pas d’interaction de l’utilisateur, selon une nouvelle recherche de Zenity Labs.

Présentées lors de la conférence de cybersécurité Black Hat USA, les découvertes montrent que les pirates pourraient voler des données, manipuler des flux de travail et même usurper l’identité des utilisateurs. Dans certains cas, les attaquants pourraient obtenir une « persistance de la mémoire », permettant un accès et un contrôle à long terme.

« Ils peuvent manipuler les instructions, empoisonner les sources de connaissances et modifier complètement le comportement de l’agent, » a déclaré Greg Zemlin, responsable marketing produit chez Zenity Labs, à Cybersecurity Dive. « Cela ouvre la porte à la sabotage, à la perturbation opérationnelle et à la désinformation à long terme, en particulier dans les environnements où l’on fait confiance aux agents pour prendre ou soutenir des décisions critiques. »

Les chercheurs ont démontré des chaînes d’attaque complètes contre plusieurs grandes plateformes d’IA d’entreprise. Dans un cas, le ChatGPT d’OpenAI a été détourné par une injection de prompt basée sur un email, permettant l’accès aux données de Google Drive connectées.

On a découvert que Microsoft Copilot Studio avait des fuites de bases de données CRM, avec plus de 3 000 agents vulnérables identifiés en ligne. La plateforme Einstein de Salesforce a été manipulée pour rediriger les communications des clients vers des comptes de courrier électronique contrôlés par des attaquants.

Pendant ce temps, Gemini de Google et Microsoft 365 Copilot pourraient être transformés en menaces internes, capables de voler des conversations sensibles et de propager de fausses informations.

En outre, les chercheurs ont réussi à tromper l’IA Gemini de Google pour qu’elle contrôle des appareils de maison intelligente. Le piratage a éteint les lumières, ouvert les volets et démarré une chaudière sans commandes de l’habitant.

Zenity a révélé ses découvertes, incitant certaines entreprises à publier des correctifs. « Nous apprécions le travail de Zenity pour avoir identifié et signalé de manière responsable ces techniques », a déclaré un porte-parole de Microsoft à Cybersecurity Dive. Microsoft a déclaré que le comportement signalé « n’est plus efficace » et que les agents Copilot ont des mesures de protection en place.

OpenAI a confirmé qu’il a corrigé ChatGPT et qu’il gère un programme de primes pour la détection de bugs. Salesforce a déclaré avoir corrigé le problème signalé. Google a indiqué avoir déployé de « nouvelles défenses stratifiées » et a souligné que « disposer d’une stratégie de défense stratifiée contre les attaques par injection d’invite est crucial », comme l’a rapporté Cybersecurity Dive.

Le rapport souligne l’augmentation des préoccupations en matière de sécurité alors que les agents IA deviennent plus courants sur les lieux de travail et sont considérés comme fiables pour gérer des tâches sensibles.

Dans une autre enquête récente, il a été rapporté que les pirates peuvent dérober des cryptomonnaies des agents IA de Web3 en implantant de faux souvenirs qui écrasent les protections normales.

La faille de sécurité existe dans ElizaOS et des plateformes similaires car les attaquants peuvent utiliser des agents compromis pour transférer des fonds entre différentes plateformes. La nature permanente des transactions blockchain rend impossible la récupération des fonds volés. Un nouvel outil, CrAIBench, vise à aider les développeurs à renforcer les défenses.