Lorsque les outils deviennent nuisibles : l'intoxication des outils d'IA et comment empêcher votre IA d'agir comme un agent double

Le développement assisté par l'intelligence artificielle(ou, dans sa version plus populaire, « codage d'ambiance ») a un impact révolutionnaire sur la création de code. Les développeurs expérimentés adoptent massivement ces outils, tandis que ceux d'entre nous qui ont toujours souhaité créer leurs propres logiciels, mais qui manquaient d'expérience, les utilisent pour construire des actifs qui étaient auparavant trop coûteux et trop longs à réaliser. Bien que cette technologie soit susceptible d'ouvrir une nouvelle ère d'innovation, elle introduit également une série de nouvelles vulnérabilités et de nouveaux profils de risque, que les responsables de la sécurité s'efforcent d'atténuer.

Une récente découverte par InvariantLabs a révélé une vulnérabilité critique dans le protocole MCP (Model Context Protocol), un cadre similaire à une API qui permet à de puissants outils d'intelligence artificielle d'interagir de manière autonome avec d'autres logiciels et bases de données, permettant ainsi ce qu'on appelle une « attaques par empoisonnement d'outils », une nouvelle catégorie de vulnérabilités qui peut causer des dommages particulièrement importants aux entreprises. Les principaux outils d'intelligence artificielle, tels que Windsurf et Cursor, ne sont pas épargnés. Pour des millions d'utilisateurs, il est essentiel de prendre conscience de ce nouveau problème de sécurité et d'acquérir les compétences nécessaires pour le gérer.

À l'heure actuelle, les résultats de ces outils ne sont pas toujours suffisamment sécurisés pour être considérés comme prêts à l'emploi dans les entreprises, comme l'indique un récent article de recherche rédigé par Vineeth Sai Narajala et Idan Habler, chercheurs en sécurité chez AWS et Intuit : «À mesure que les systèmes d'intelligence artificielle deviennent plus autonomes et commencent à interagir directement avec des outils externes et des données en temps réel, par le biais d'outils tels que MCP, il devient absolument essentiel de garantir la sécurité de ces interactions. »

Risques associés aux systèmes d'intelligence artificielle et aux protocoles contextuels des modèles

Le protocole MCP (Model Context Protocol) est un logiciel pratique développé par Anthropic qui permet une intégration plus efficace et plus fluide entre les agents IA à grand modèle linguistique (LLM) et d'autres outils. Il s'agit d'un cas d'utilisation puissant qui ouvre un monde de possibilités entre les applications propriétaires et les outils SaaS essentiels à l'entreprise tels que GitHub, permettant d'interagir avec des solutions d'IA de pointe. Il suffit de créer un serveur MCP,puis commencez à définir des directives sur la manière dont vous souhaitez qu'il fonctionne et les objectifs qu'il doit atteindre.

En réalité, l'impact de la technologie MCP sur la sécurité est largement positif. La promesse d'une intégration plus directe entre le LLM et la pile technologique utilisée par les professionnels de la sécurité est trop attrayante pour être ignorée.Il représente la possibilité d'automatiser des tâches de sécurité précises à un niveau auparavant impossible, du moins sans avoir à écrire et à déployer du code personnalisé pour chaque tâche. Étant donné que la visibilité et la connectivité approfondies entre les données, les outils et les personnes constituent la base d'une défense et d'une planification efficaces en matière de sécurité, le MCP améliore l'interopérabilité des LLM et offre des perspectives prometteuses pour la sécurité des entreprises.

Cependant, l'utilisation du MCP peut introduire d'autres vecteurs de menaces potentiels qui, s'ils ne sont pas gérés avec prudence, peuvent considérablement élargir la surface d'attaque d'une entreprise. Comme l'a souligné Invariant Labs,les attaques par empoisonnement des outilsreprésentent une nouvelle catégorie de vulnérabilités qui peuvent entraîner la fuite de données sensibles et des opérations non autorisées par les modèles d'IA. Depuis lors, les risques de sécurité sont rapidement devenus très préoccupants.

InvariantLabs souligne que lorsque des instructions malveillantes sont intégrées dans la description d'un outil MCP, elles sont invisibles pour l'utilisateur, mais peuvent être lues (et exécutées) par le modèle d'IA, rendant ainsi possible une attaque par contamination de l'outil. Cela peut inciter l'outil à effectuer des opérations non autorisées à l'insu de l'utilisateur. Le problème réside dans l'hypothèse du MCP selon laquelle toutes les descriptions d'outils sont fiables, ce qui est une situation idéale pour les acteurs malveillants.

Ils ont noté les conséquences suivantes pouvant résulter de l'endommagement des outils :

• Autoriser l'accès des modèles d'IA aux fichiers sensibles (tels que les clés SSH, les fichiers de configuration, les bases de données, etc.) ;
• Instruire l'IA à extraire et transmettre ces données dans un environnement où ces activités malveillantes sont dissimulées aux utilisateurs non informés.
• En dissimulant les paramètres apparemment simples des outils et les représentations de l'interface utilisateur, il crée un décalage entre ce que l'utilisateur voit et le fonctionnement du modèle d'IA.

Il s'agit d'une catégorie de vulnérabilités préoccupante et urgente. Avec l'augmentation inévitable de l'utilisation du MCP, nous sommes presque certains de voir cette catégorie de vulnérabilités apparaître plus fréquemment. À mesure que les programmes de sécurité des entreprises évoluent, il sera essentiel de prendre des mesures prudentes pour détecter et atténuer cette menace, tout en préparant les développeurs à participer à la mise en place de solutions.

Pourquoi seuls les développeurs possédant des compétences en matière de sécurité peuvent-ils utiliser des outils d'intelligence artificielle par procuration ?

Les outils de codage IA agentique sont considérés comme la prochaine évolution du codage assisté par l'intelligence artificielle, car ils améliorent l'efficacité, la productivité et la flexibilité dans le développement de logiciels. Leur capacité à comprendre le contexte et les intentions est renforcée, ce qui les rend particulièrement utiles, mais ils ne sont pas à l'abri des menaces telles que l'injection instantanée, les hallucinations ou la manipulation comportementale par des attaquants.

Les développeurs constituent la ligne de défense entre la qualité et la médiocrité du code. Le maintien d'une vigilance constante en matière de sécurité et d'un esprit critique sera essentiel pour le développement futur des logiciels de sécurité.

Il est essentiel de ne pas se fier aveuglément aux résultats fournis par l'intelligence artificielle. Seuls les développeurs possédant les compétences nécessaires en matière de sécurité et faisant preuve d'un esprit critique adapté au contexte peuvent exploiter en toute sécurité les gains de productivité offerts par cette technologie. Néanmoins, cela doit se faire dans un environnement de programmation en binôme, où des experts humains peuvent évaluer, modéliser les menaces et, au final, approuver le travail effectué par l'outil.

Découvrez comment les développeurs peuvent améliorer leurs compétences et leur productivité grâce à l'IA ici.

Techniques de gestion efficaces et informations supplémentaires issues de notre dernier article de recherche

Les outils de codage basés sur l'intelligence artificielle et la technologie MCP deviendront inévitablement des éléments essentiels de la cybersécurité future. Cependant, il est crucial de ne pas se précipiter avant d'avoir évalué la situation.

Le document de Narajala et Habler décrit en détail la stratégie d'atténuation globale de la mise en œuvre du MCP au niveau de l'entreprise et la gestion continue des risques. Enfin, il se concentre sur les principes de défense en profondeur et de confiance zéro, et identifie clairement les risques uniques que ce nouvel écosystème présente pour l'environnement de l'entreprise. Il est particulièrement important pour les développeurs de combler les lacunes de connaissances dans les domaines suivants :

• Authentification et contrôle d'accès: les outils d'IA agentique ont pour fonction de résoudre des problèmes et de prendre des décisions autonomes afin d'atteindre les objectifs qui leur sont assignés, de manière similaire à la façon dont les humains traitent les tâches d'ingénierie. Cependant, comme nous l'avons déjà établi, la supervision humaine experte de ces processus ne doit pas être négligée. Les développeurs qui utilisent ces outils dans leurs flux de travail doivent avoir une connaissance précise des accès dont ils disposent, des données qu'ils récupèrent ou sont susceptibles d'exposer, ainsi que des endroits où ces données peuvent être partagées.
• Détection et atténuation des menaces générales: comme pour la plupart des processus d'intelligence artificielle, les utilisateurs doivent maîtriser les tâches afin de détecter les défauts et les inexactitudes potentiels dans les résultats des outils. Les développeurs doivent bénéficier d'une formation continue et d'une validation de leurs compétences afin de pouvoir examiner efficacement les processus de sécurité et vérifier la précision et la fiabilité du code généré par l'IA.
• Conformité aux politiques de sécurité et à la gouvernance de l'IA: les développeurs doivent être informés des outils approuvés et avoir la possibilité d'améliorer leurs compétences et d'obtenir des autorisations d'utilisation. Les développeurs et les outils doivent être soumis à des tests de sécurité de référence avant que la confiance ne leur soit accordée.

Nous avons récemment publié un article de recherche sur l'émergence du codage atmosphérique et du codage assisté par l'intelligence artificielle, ainsi que sur les mesures que les entreprises doivent prendre pour former la prochaine génération d'ingénieurs logiciels spécialisés dans l'intelligence artificielle. Nous vous invitons à le consulter dès maintenant et à nous contacter pour renforcer votre équipe de développement.