Lorsque les outils efficaces sont compromis : l'intoxication des outils d'IA et comment empêcher l'IA d'agir comme un agent double

Le développement assisté par IA (ou, dans sa version la plus moderne, le « codage par vibrations ») a un impact considérable et transformateur sur la création de code. Les développeurs confirmés adoptent massivement ces outils, et ceux d'entre nous qui ont toujours souhaité créer leur propre logiciel mais qui ne disposaient pas de l'expérience nécessaire les utilisent également pour créer des actifs qui auraient auparavant été prohibitifs en termes de coût et de temps. Si cette technologie promet d'ouvrir une nouvelle ère d'innovation, elle introduit également une série de nouvelles vulnérabilités et de nouveaux profils de risque que les responsables de la sécurité s'efforcent d'atténuer.

Une récente découverte d'InvariantLabs a révélé une vulnérabilité critique dans le Model Context Protocol (MCP), un cadre similaire à une API qui permet à de puissants outils d'intelligence artificielle d'interagir de manière autonome avec d'autres logiciels et bases de données, ce qui rend possible ce qu'on appelle les « attaques par empoisonnement des outils », une nouvelle catégorie de vulnérabilité qui pourrait s'avérer particulièrement préjudiciable pour l'entreprise. Les principaux outils d'IA, tels que Windsurf et Cursor, ne sont pas à l'abri, et avec plusieurs millions d'utilisateurs, la sensibilisation et les compétences nécessaires pour gérer ce problème de sécurité émergent sont primordiales.

Dans l'état actuel des choses, les résultats de ces outils ne sont pas suffisamment fiables pour être considérés comme adaptés à une utilisation en entreprise, comme l'indique une récente étude menée par les chercheurs en sécurité d'AWS et d'Intuit, Vineeth Sai Narajala et Idan Habler :À mesure que les systèmes d'IA deviennent plus autonomes et commencent à interagir directement avec des outils externes et des données en temps réel via des éléments tels que le MCP, il devient absolument essentiel de garantir la sécurité de ces interactions.

Les systèmes d'IA des agences et le profil de risque du protocole Contexte du modèle

Le Model Context Protocol est un logiciel utile développé par Anthropic qui permet une intégration plus efficace et plus fluide entre les agents IA du modèle de langage à grande échelle (LLM) et d'autres outils. Il s'agit d'un cas d'utilisation puissant qui ouvre un monde de possibilités entre les applications propriétaires et les outils SaaS essentiels à l'entreprise, tels que GitHub, qui interagissent avec des solutions d'IA de pointe. Il suffit de rédiger un serveur MCP et de commencer par définir les règles de fonctionnement et l'objectif recherché.

En effet, les implications de la technologie MCP en matière de sécurité sont pour la plupart positives. La promesse d'une intégration plus directe entre les LLM et la technologie utilisée par les professionnels de la sécurité est trop tentante pour être ignorée. Elle offre la possibilité d'automatiser avec précision les tâches de sécurité à des niveaux qui n'étaient auparavant pas possibles, du moins sans écrire et mettre en œuvre un code personnalisé, généralement pour chaque tâche. L'interopérabilité améliorée des LLM offerte par le MCP est une perspective intéressante pour la sécurité des entreprises, car la visibilité et la connectivité étendue entre les données, les outils et le personnel sont essentielles pour une défense et une planification efficaces de la sécurité.

Cependant, l'utilisation du MCP peut introduire d'autres vecteurs de menace potentiels et élargir considérablement la surface d'attaque de l'entreprise, à moins d'être gérée avec précaution. Comme le souligne Invariant Labs, les attaques par empoisonnement des outils représentent une nouvelle catégorie de vulnérabilité qui peut entraîner l'exfiltration de données confidentielles et l'adoption de mesures non autorisées par les modèles d'IA. À partir de là, les implications en matière de sécurité deviennent très floues et évoluent rapidement.

InvariantLabs souligne qu'une attaque par empoisonnement des outils est possible lorsque des instructions malveillantes sont incluses dans les descriptions des outils MCP qui ne sont pas visibles pour les utilisateurs, mais que les modèles d'IA peuvent lire (et exécuter) dans leur intégralité. Cela induit l'outil en erreur et l'amène à effectuer des actions malveillantes non autorisées à l'insu de l'utilisateur. Le problème réside dans l'hypothèse du MCP selon laquelle toutes les descriptions des outils sont fiables, ce qui est tout à fait avantageux pour les attaquants.

Les résultats suivants peuvent être observés lorsqu'un outil est compromis :

• Autoriser les modèles d'IA à accéder à des fichiers confidentiels (tels que les clés SSH, les fichiers de configuration, les bases de données, etc.) ;
• Former l'IA à extraire et transmettre ces données, dans un environnement où ces actions malveillantes sont intrinsèquement cachées à l'utilisateur non averti ;
• Il crée une déconnexion entre ce que l'utilisateur voit et ce que fait le modèle d'IA en se dissimulant derrière des représentations trompeusement simples de l'interface utilisateur des arguments et des résultats des outils.

Il s'agit d'une catégorie de vulnérabilité émergente et préoccupante, que nous observerons certainement plus fréquemment à mesure que l'utilisation des MCP continuera inévitablement de se développer. Des mesures prudentes devront être prises pour détecter et atténuer cette menace à mesure que les programmes de sécurité des entreprises évolueront. Il est donc essentiel de préparer adéquatement les développeurs afin qu'ils puissent contribuer à la solution.

Pourquoi seuls les développeurs experts en sécurité devraient utiliser les outils d'IA des agences

Les outils de codage IA d'Agentic sont considérés comme la prochaine évolution du codage assisté par IA, ce qui augmente leur capacité à offrir une plus grande efficacité, productivité et flexibilité dans le développement de logiciels. Leur capacité accrue à comprendre le contexte et l'intention les rend particulièrement utiles, mais ils ne sont pas à l'abri de menaces telles que l'injection rapide, les hallucinations ou la manipulation du comportement par des attaquants.

Les développeurs constituent la ligne de défense entre les bonnes et les mauvaises confirmations de code, et le maintien des compétences en matière de sécurité et de pensée critique sera essentiel pour l'avenir du développement de logiciels sécurisés.

Les résultats de l'IA ne doivent jamais être mis en œuvre avec une confiance aveugle, et ce sont les développeurs experts en sécurité qui font preuve d'un esprit critique et contextuel qui peuvent tirer parti en toute sécurité des gains de productivité offerts par cette technologie. Cependant, cela doit se faire dans le cadre d'un environnement de programmation en binôme, dans lequel l'expert humain est capable d'évaluer, de modéliser les menaces et, en fin de compte, d'approuver le travail effectué par l'outil.

Pour en savoir plus sur la manière dont les développeurs peuvent améliorer leurs compétences et accroître leur productivité grâce à l'IA, veuillez consulter cette page.

Techniques pratiques d'atténuation et lectures complémentaires dans notre dernier article de recherche

Les outils de codage IA et la technologie MCP constitueront un facteur important dans l'avenir de la cybersécurité, mais il est essentiel de ne pas se lancer sans avoir préalablement évalué la situation.

L'article de Narajala y Habler détaille des stratégies d'atténuation complètes pour mettre en œuvre le MCP au niveau de l'entreprise et la gestion continue de ses risques. En fin de compte, il se concentre sur les principes de défense en profondeur et de confiance zéro, et se concentre explicitement sur le profil de risque unique que ce nouvel écosystème apporte à l'environnement commercial. Dans le cas spécifique des développeurs, il est essentiel de combler les lacunes en matière de connaissances dans les domaines suivants :

• Authentification et contrôle d'accès: les outils d'IA des agences sont conçus pour résoudre des problèmes et prendre des décisions de manière autonome afin d'atteindre les objectifs qui leur sont fixés, de la même manière qu'un être humain aborderait des tâches d'ingénierie. Cependant, comme nous l'avons établi, la supervision humaine qualifiée de ces processus ne peut être ignorée, et les développeurs qui utilisent ces outils dans leurs flux de travail doivent savoir exactement quel accès ils ont, quelles données ils récupèrent ou exposent potentiellement et où elles pourraient être partagées.
• Détection et atténuation des menaces générales: comme pour la plupart des processus d'IA, afin de détecter d'éventuels défauts et imprécisions dans les résultats de l'outil, l'utilisateur doit maîtriser la tâche lui-même. Les développeurs doivent bénéficier d'une amélioration continue de leurs compétences et d'une vérification de ces compétences afin de réviser efficacement les processus de sécurité et de vérifier le code généré par l'IA avec précision et autorité en matière de sécurité.
• Conformité avec la politique de sécurité et la gouvernance de l'IA: les développeurs doivent connaître les outils approuvés et avoir la possibilité d'améliorer leurs compétences et d'y accéder. Le développeur et l'outil doivent tous deux faire l'objet d'une évaluation comparative de sécurité avant que les confirmations ne soient fiables.

Nous avons récemment publié une étude sur l'émergence du codage des vibrations et du codage assisté par l'IA, ainsi que sur les mesures que les entreprises doivent prendre pour améliorer la prochaine génération d'ingénieurs logiciels axés sur l'IA. Nous vous invitons à la consulter et à nous contacter pour renforcer votre équipe de développement dès aujourd'hui.