LLMs : Une approche (im)parfaitement humaine du codage sécurisé ?

Une version de cet article a été publiée dans Lecture sombre. Elle a été mise à jour et publiée ici.

‍

Dès les premiers bruits de couloir concernant les derniers outils d'IA qui bouleversent la culture, les développeurs et les curieux du codage les ont utilisés pour générer du code en appuyant sur un bouton. Les experts en sécurité ont rapidement souligné que, dans de nombreux cas, le code produit était de mauvaise qualité et vulnérable, et qu'entre les mains de personnes peu sensibilisées à la sécurité, il pouvait provoquer une avalanche d'applications et de développements web non sécurisés pour des consommateurs peu méfiants.

Et puis, il y a ceux qui ont suffisamment de connaissances en matière de sécurité pour les utiliser à des fins malveillantes. Pour chaque exploit époustouflant de l'IA, il semble qu'il y ait un contre-pied à l'utilisation de la même technologie à des fins malveillantes. L'hameçonnage, les fausses vidéos d'escroquerie, la création de logiciels malveillants, les manigances de script en général... ces activités perturbatrices sont réalisables beaucoup plus rapidement, avec des barrières à l'entrée plus faibles.

Il y a certainement beaucoup d'appâts à clics qui vantent cet outil comme étant révolutionnaire, ou du moins comme étant le meilleur lorsqu'il est comparé à des compétences humaines "moyennes". S'il semble inévitable que la technologie de l'IA de type LLM changera la façon dont nous abordons de nombreux aspects du travail - et pas seulement le développement de logiciels -, nous devons prendre du recul et considérer les risques au-delà des gros titres. 

Et en tant que compagnon de codage, ses défauts sont peut-être son attribut le plus "humain".

Les mauvais schémas de codage dominent les solutions proposées.

Avec ChatGPT formé sur des décennies de code existant et de bases de connaissances, il n'est pas surprenant qu'en dépit de toutes ses merveilles et de son mystère, il souffre également des mêmes pièges communs auxquels les gens sont confrontés lorsqu'ils naviguent dans le code. Les mauvais modèles de codage sont monnaie courante, et il faut encore un pilote conscient de la sécurité pour générer des exemples de codage sûrs en posant les bonnes questions et en fournissant les bonnes techniques d'intervention. 

Même dans ce cas, rien ne garantit que les extraits de code fournis sont exacts et fonctionnels du point de vue de la sécurité ; la technologie est sujette à des hallucinations, allant jusqu'à inventer des bibliothèques inexistantes lorsqu'on lui demande d'effectuer certaines opérations JSON spécifiques, comme l'a découvert Mike Shema. Cela pourrait conduire à un "squattage de l'hallucination" par les acteurs de la menace, qui ne seraient que trop heureux de créer un logiciel malveillant déguisé en la bibliothèque fabriquée recommandée en toute confiance par ChatGPT.

En fin de compte, nous devons nous rendre à l'évidence : en général, nous n'avons pas attendu des développeurs qu'ils soient suffisamment sensibilisés à la sécurité, et nous ne les avons pas non plus, en tant qu'industrie, suffisamment préparés à écrire du code sécurisé par défaut. Cela sera évident dans l'énorme quantité de données de formation introduites dans ChatGPT, et nous pouvons nous attendre à des résultats similaires en matière de sécurité, au moins dans un premier temps. Les développeurs devraient être en mesure d'identifier les bogues de sécurité et de les corriger eux-mêmes ou de concevoir de meilleurs messages-guides pour obtenir un résultat plus robuste.

La première étude à grande échelle menée par des chercheurs de l'université de Stanford sur la manière dont les utilisateurs interagissent avec un assistant de codage IA pour résoudre diverses fonctions liées à la sécurité vient étayer cette idée, avec une conclusion :

"Nous avons observé que les participants qui avaient accès à l'assistant d'intelligence artificielle étaient plus susceptibles d'introduire des failles de sécurité pour la majorité des tâches de programmation, mais aussi plus susceptibles d'évaluer leurs réponses non sécurisées comme étant sécurisées par rapport à ceux de notre groupe de contrôle."

Cela témoigne d'un niveau de confiance par défaut dans les résultats des outils de codage de l'IA comme produisant un code qui est toujours intrinsèquement sûr, alors qu'en fait il ne l'est pas.

Entre cela et les inévitables menaces liées à l'IA qui imprégneront notre avenir, les développeurs doivent plus que jamais perfectionner leurs compétences en matière de sécurité et relever la barre de la qualité du code, quelle qu'en soit l'origine.

Le chemin qui mène au désastre d'une violation de données est pavé de bonnes intentions

Il n'est pas surprenant que les compagnons de codage de l'IA soient populaires, en particulier parce que les développeurs sont confrontés à des responsabilités croissantes, à des délais plus serrés et aux ambitions d'innovation d'une entreprise qui reposent sur leurs épaules. Cependant, même avec les meilleures intentions, un manque de sensibilisation à la sécurité lors de l'utilisation de l'IA pour le codage conduira inévitablement à des problèmes de sécurité flagrants. Tous les développeurs utilisant des outils d'IA/ML produiront davantage de code, dont le niveau de risque de sécurité dépendra de leur niveau de compétence. Les organisations doivent être parfaitement conscientes du fait que les personnes non formées généreront certainement du code plus rapidement, mais qu'elles augmenteront également la vitesse de la dette de sécurité technique.

Même notre test préliminaire (avril 2023) avec ChatGPT a révélé qu'il génère des erreurs très élémentaires qui pourraient avoir des conséquences dévastatrices. Lorsque nous lui avons demandé de créer une routine de connexion en PHP à l'aide d'une base de données MySQL, le code fonctionnel a été généré rapidement. Cependant, il a choisi par défaut de stocker les mots de passe en clair dans une base de données, de stocker les identifiants de connexion à la base de données dans le code et d'utiliser un modèle de codage qui pourrait entraîner une injection SQL (bien qu'il ait effectué un certain niveau de filtrage sur les paramètres d'entrée et qu'il ait recraché les erreurs de la base de données). Des erreurs de débutants à tout point de vue :
‍

‍
Des rappels à l'ordre ont permis de corriger les erreurs, mais il faut des connaissances approfondies en matière de sécurité pour rectifier le tir. L'utilisation généralisée et non contrôlée de ces outils revient à lâcher des développeurs débutants sur vos projets, et si ce code construit des infrastructures sensibles ou traite des données personnelles, nous sommes face à une bombe à retardement.

Bien sûr, tout comme les développeurs débutants augmentent sans aucun doute leurs compétences avec le temps, nous nous attendons à ce que les capacités de l'IA/ML s'améliorent. Dans un an, elle ne commettra peut-être pas des erreurs de sécurité aussi évidentes et aussi simples. Toutefois, cela aura pour effet d'augmenter considérablement les compétences en matière de sécurité nécessaires pour traquer les erreurs de sécurité plus graves, cachées et non triviales qu'elle risque encore de produire.

Nous restons mal préparés à trouver et à corriger les failles de sécurité, et l'IA creuse l'écart.

Bien que l'on parle beaucoup du "glissement à gauche" depuis de nombreuses années, il n'en reste pas moins que, pour la plupart des organisations, la cohorte des développeurs manque cruellement de connaissances pratiques en matière de sécurité, et nous devons redoubler d'efforts pour leur fournir les outils et la formation adéquats afin de les aider à progresser.

Dans l'état actuel des choses, nous ne sommes pas préparés aux bogues de sécurité que nous avons l'habitude de rencontrer, sans parler des nouveaux problèmes liés à l'IA, tels que l'injection rapide et le squat des hallucinations, qui représentent des vecteurs d'attaque entièrement nouveaux et qui sont prêts à prendre leur essor comme une traînée de poudre. Les outils de codage de l'IA représentent l'avenir de l'arsenal de codage d'un développeur, mais c'est maintenant qu'il faut apprendre à manier ces armes de productivité en toute sécurité.

‍