LLMs : Une approche (im)parfaitement humaine du codage sécurisé ?
Une version de cet article a été publiée dans Lecture sombre. Elle a été mise à jour et publiée ici.
Dès les premiers bruits de couloir concernant les derniers outils d'IA qui bouleversent la culture, les développeurs et les curieux du codage les ont utilisés pour générer du code en appuyant sur un bouton. Les experts en sécurité ont rapidement souligné que, dans de nombreux cas, le code produit était de mauvaise qualité et vulnérable, et qu'entre les mains de personnes peu sensibilisées à la sécurité, il pouvait provoquer une avalanche d'applications et de développements web non sécurisés pour des consommateurs peu méfiants.
Et puis, il y a ceux qui ont suffisamment de connaissances en matière de sécurité pour les utiliser à des fins malveillantes. Pour chaque exploit époustouflant de l'IA, il semble qu'il y ait un contre-pied à l'utilisation de la même technologie à des fins malveillantes. L'hameçonnage, les fausses vidéos d'escroquerie, la création de logiciels malveillants, les manigances de script en général... ces activités perturbatrices sont réalisables beaucoup plus rapidement, avec des barrières à l'entrée plus faibles.
Il y a certainement beaucoup d'appâts à clics qui vantent cet outil comme étant révolutionnaire, ou du moins comme étant le meilleur lorsqu'il est comparé à des compétences humaines "moyennes". S'il semble inévitable que la technologie de l'IA de type LLM changera la façon dont nous abordons de nombreux aspects du travail - et pas seulement le développement de logiciels -, nous devons prendre du recul et considérer les risques au-delà des gros titres.
Et en tant que compagnon de codage, ses défauts sont peut-être son attribut le plus "humain".
Les mauvais schémas de codage dominent les solutions proposées.
Avec ChatGPT formé sur des décennies de code existant et de bases de connaissances, il n'est pas surprenant qu'en dépit de toutes ses merveilles et de son mystère, il souffre également des mêmes pièges communs auxquels les gens sont confrontés lorsqu'ils naviguent dans le code. Les mauvais modèles de codage sont monnaie courante, et il faut encore un pilote conscient de la sécurité pour générer des exemples de codage sûrs en posant les bonnes questions et en fournissant les bonnes techniques d'intervention.
Même dans ce cas, rien ne garantit que les extraits de code fournis sont exacts et fonctionnels du point de vue de la sécurité ; la technologie est sujette à des hallucinations, allant jusqu'à inventer des bibliothèques inexistantes lorsqu'on lui demande d'effectuer certaines opérations JSON spécifiques, comme l'a découvert Mike Shema. Cela pourrait conduire à un "squattage de l'hallucination" par les acteurs de la menace, qui ne seraient que trop heureux de créer un logiciel malveillant déguisé en la bibliothèque fabriquée recommandée en toute confiance par ChatGPT.
En fin de compte, nous devons nous rendre à l'évidence : en général, nous n'avons pas attendu des développeurs qu'ils soient suffisamment sensibilisés à la sécurité, et nous ne les avons pas non plus, en tant qu'industrie, suffisamment préparés à écrire du code sécurisé par défaut. Cela sera évident dans l'énorme quantité de données de formation introduites dans ChatGPT, et nous pouvons nous attendre à des résultats similaires en matière de sécurité, au moins dans un premier temps. Les développeurs devraient être en mesure d'identifier les bogues de sécurité et de les corriger eux-mêmes ou de concevoir de meilleurs messages-guides pour obtenir un résultat plus robuste.
La première étude à grande échelle menée par des chercheurs de l'université de Stanford sur la manière dont les utilisateurs interagissent avec un assistant de codage IA pour résoudre diverses fonctions liées à la sécurité vient étayer cette idée, avec une conclusion :
"Nous avons observé que les participants qui avaient accès à l'assistant d'intelligence artificielle étaient plus susceptibles d'introduire des failles de sécurité pour la majorité des tâches de programmation, mais aussi plus susceptibles d'évaluer leurs réponses non sécurisées comme étant sécurisées par rapport à ceux de notre groupe de contrôle."
Cela témoigne d'un niveau de confiance par défaut dans les résultats des outils de codage de l'IA comme produisant un code qui est toujours intrinsèquement sûr, alors qu'en fait il ne l'est pas.
Entre cela et les inévitables menaces liées à l'IA qui imprégneront notre avenir, les développeurs doivent plus que jamais perfectionner leurs compétences en matière de sécurité et relever la barre de la qualité du code, quelle qu'en soit l'origine.
Le chemin qui mène au désastre d'une violation de données est pavé de bonnes intentions
Il n'est pas surprenant que les compagnons de codage de l'IA soient populaires, en particulier parce que les développeurs sont confrontés à des responsabilités croissantes, à des délais plus serrés et aux ambitions d'innovation d'une entreprise qui reposent sur leurs épaules. Cependant, même avec les meilleures intentions, un manque de sensibilisation à la sécurité lors de l'utilisation de l'IA pour le codage conduira inévitablement à des problèmes de sécurité flagrants. Tous les développeurs utilisant des outils d'IA/ML produiront davantage de code, dont le niveau de risque de sécurité dépendra de leur niveau de compétence. Les organisations doivent être parfaitement conscientes du fait que les personnes non formées généreront certainement du code plus rapidement, mais qu'elles augmenteront également la vitesse de la dette de sécurité technique.
Même notre test préliminaire (avril 2023) avec ChatGPT a révélé qu'il génère des erreurs très élémentaires qui pourraient avoir des conséquences dévastatrices. Lorsque nous lui avons demandé de créer une routine de connexion en PHP à l'aide d'une base de données MySQL, le code fonctionnel a été généré rapidement. Cependant, il a choisi par défaut de stocker les mots de passe en clair dans une base de données, de stocker les identifiants de connexion à la base de données dans le code et d'utiliser un modèle de codage qui pourrait entraîner une injection SQL (bien qu'il ait effectué un certain niveau de filtrage sur les paramètres d'entrée et qu'il ait recraché les erreurs de la base de données). Des erreurs de débutants à tout point de vue :
Des rappels à l'ordre ont permis de corriger les erreurs, mais il faut des connaissances approfondies en matière de sécurité pour rectifier le tir. L'utilisation généralisée et non contrôlée de ces outils revient à lâcher des développeurs débutants sur vos projets, et si ce code construit des infrastructures sensibles ou traite des données personnelles, nous sommes face à une bombe à retardement.
Bien sûr, tout comme les développeurs débutants augmentent sans aucun doute leurs compétences avec le temps, nous nous attendons à ce que les capacités de l'IA/ML s'améliorent. Dans un an, elle ne commettra peut-être pas des erreurs de sécurité aussi évidentes et aussi simples. Toutefois, cela aura pour effet d'augmenter considérablement les compétences en matière de sécurité nécessaires pour traquer les erreurs de sécurité plus graves, cachées et non triviales qu'elle risque encore de produire.
Nous restons mal préparés à trouver et à corriger les failles de sécurité, et l'IA creuse l'écart.
Bien que l'on parle beaucoup du "glissement à gauche" depuis de nombreuses années, il n'en reste pas moins que, pour la plupart des organisations, la cohorte des développeurs manque cruellement de connaissances pratiques en matière de sécurité, et nous devons redoubler d'efforts pour leur fournir les outils et la formation adéquats afin de les aider à progresser.
Dans l'état actuel des choses, nous ne sommes pas préparés aux bogues de sécurité que nous avons l'habitude de rencontrer, sans parler des nouveaux problèmes liés à l'IA, tels que l'injection rapide et le squat des hallucinations, qui représentent des vecteurs d'attaque entièrement nouveaux et qui sont prêts à prendre leur essor comme une traînée de poudre. Les outils de codage de l'IA représentent l'avenir de l'arsenal de codage d'un développeur, mais c'est maintenant qu'il faut apprendre à manier ces armes de productivité en toute sécurité.
S'il semble inévitable que la technologie de l'IA de type LLM change la façon dont nous abordons de nombreux aspects du travail - et pas seulement le développement de logiciels -, nous devons prendre du recul et envisager les risques au-delà des gros titres. Et en tant que compagnon de codage, ses défauts sont peut-être son attribut le plus "humain".
Directeur général, président et cofondateur
Secure Code Warrior est là pour vous aider à sécuriser le code tout au long du cycle de vie du développement logiciel et à créer une culture dans laquelle la cybersécurité est une priorité. Que vous soyez responsable AppSec, développeur, CISO ou toute autre personne impliquée dans la sécurité, nous pouvons aider votre organisation à réduire les risques associés à un code non sécurisé.
Réservez une démonstrationDirecteur général, président et cofondateur
Pieter Danhieux est un expert en sécurité mondialement reconnu, avec plus de 12 ans d'expérience en tant que consultant en sécurité et 8 ans en tant qu'instructeur principal pour SANS, enseignant des techniques offensives sur la façon de cibler et d'évaluer les organisations, les systèmes et les individus pour les faiblesses de sécurité. En 2016, il a été reconnu comme l'une des personnes les plus cool d'Australie dans le domaine de la technologie (Business Insider), a reçu le prix du professionnel de la cybersécurité de l'année (AISA - Australian Information Security Association) et détient les certifications GSE, CISSP, GCIH, GCFA, GSEC, GPEN, GWAPT, GCIA.
Une version de cet article a été publiée dans Lecture sombre. Elle a été mise à jour et publiée ici.
Dès les premiers bruits de couloir concernant les derniers outils d'IA qui bouleversent la culture, les développeurs et les curieux du codage les ont utilisés pour générer du code en appuyant sur un bouton. Les experts en sécurité ont rapidement souligné que, dans de nombreux cas, le code produit était de mauvaise qualité et vulnérable, et qu'entre les mains de personnes peu sensibilisées à la sécurité, il pouvait provoquer une avalanche d'applications et de développements web non sécurisés pour des consommateurs peu méfiants.
Et puis, il y a ceux qui ont suffisamment de connaissances en matière de sécurité pour les utiliser à des fins malveillantes. Pour chaque exploit époustouflant de l'IA, il semble qu'il y ait un contre-pied à l'utilisation de la même technologie à des fins malveillantes. L'hameçonnage, les fausses vidéos d'escroquerie, la création de logiciels malveillants, les manigances de script en général... ces activités perturbatrices sont réalisables beaucoup plus rapidement, avec des barrières à l'entrée plus faibles.
Il y a certainement beaucoup d'appâts à clics qui vantent cet outil comme étant révolutionnaire, ou du moins comme étant le meilleur lorsqu'il est comparé à des compétences humaines "moyennes". S'il semble inévitable que la technologie de l'IA de type LLM changera la façon dont nous abordons de nombreux aspects du travail - et pas seulement le développement de logiciels -, nous devons prendre du recul et considérer les risques au-delà des gros titres.
Et en tant que compagnon de codage, ses défauts sont peut-être son attribut le plus "humain".
Les mauvais schémas de codage dominent les solutions proposées.
Avec ChatGPT formé sur des décennies de code existant et de bases de connaissances, il n'est pas surprenant qu'en dépit de toutes ses merveilles et de son mystère, il souffre également des mêmes pièges communs auxquels les gens sont confrontés lorsqu'ils naviguent dans le code. Les mauvais modèles de codage sont monnaie courante, et il faut encore un pilote conscient de la sécurité pour générer des exemples de codage sûrs en posant les bonnes questions et en fournissant les bonnes techniques d'intervention.
Même dans ce cas, rien ne garantit que les extraits de code fournis sont exacts et fonctionnels du point de vue de la sécurité ; la technologie est sujette à des hallucinations, allant jusqu'à inventer des bibliothèques inexistantes lorsqu'on lui demande d'effectuer certaines opérations JSON spécifiques, comme l'a découvert Mike Shema. Cela pourrait conduire à un "squattage de l'hallucination" par les acteurs de la menace, qui ne seraient que trop heureux de créer un logiciel malveillant déguisé en la bibliothèque fabriquée recommandée en toute confiance par ChatGPT.
En fin de compte, nous devons nous rendre à l'évidence : en général, nous n'avons pas attendu des développeurs qu'ils soient suffisamment sensibilisés à la sécurité, et nous ne les avons pas non plus, en tant qu'industrie, suffisamment préparés à écrire du code sécurisé par défaut. Cela sera évident dans l'énorme quantité de données de formation introduites dans ChatGPT, et nous pouvons nous attendre à des résultats similaires en matière de sécurité, au moins dans un premier temps. Les développeurs devraient être en mesure d'identifier les bogues de sécurité et de les corriger eux-mêmes ou de concevoir de meilleurs messages-guides pour obtenir un résultat plus robuste.
La première étude à grande échelle menée par des chercheurs de l'université de Stanford sur la manière dont les utilisateurs interagissent avec un assistant de codage IA pour résoudre diverses fonctions liées à la sécurité vient étayer cette idée, avec une conclusion :
"Nous avons observé que les participants qui avaient accès à l'assistant d'intelligence artificielle étaient plus susceptibles d'introduire des failles de sécurité pour la majorité des tâches de programmation, mais aussi plus susceptibles d'évaluer leurs réponses non sécurisées comme étant sécurisées par rapport à ceux de notre groupe de contrôle."
Cela témoigne d'un niveau de confiance par défaut dans les résultats des outils de codage de l'IA comme produisant un code qui est toujours intrinsèquement sûr, alors qu'en fait il ne l'est pas.
Entre cela et les inévitables menaces liées à l'IA qui imprégneront notre avenir, les développeurs doivent plus que jamais perfectionner leurs compétences en matière de sécurité et relever la barre de la qualité du code, quelle qu'en soit l'origine.
Le chemin qui mène au désastre d'une violation de données est pavé de bonnes intentions
Il n'est pas surprenant que les compagnons de codage de l'IA soient populaires, en particulier parce que les développeurs sont confrontés à des responsabilités croissantes, à des délais plus serrés et aux ambitions d'innovation d'une entreprise qui reposent sur leurs épaules. Cependant, même avec les meilleures intentions, un manque de sensibilisation à la sécurité lors de l'utilisation de l'IA pour le codage conduira inévitablement à des problèmes de sécurité flagrants. Tous les développeurs utilisant des outils d'IA/ML produiront davantage de code, dont le niveau de risque de sécurité dépendra de leur niveau de compétence. Les organisations doivent être parfaitement conscientes du fait que les personnes non formées généreront certainement du code plus rapidement, mais qu'elles augmenteront également la vitesse de la dette de sécurité technique.
Même notre test préliminaire (avril 2023) avec ChatGPT a révélé qu'il génère des erreurs très élémentaires qui pourraient avoir des conséquences dévastatrices. Lorsque nous lui avons demandé de créer une routine de connexion en PHP à l'aide d'une base de données MySQL, le code fonctionnel a été généré rapidement. Cependant, il a choisi par défaut de stocker les mots de passe en clair dans une base de données, de stocker les identifiants de connexion à la base de données dans le code et d'utiliser un modèle de codage qui pourrait entraîner une injection SQL (bien qu'il ait effectué un certain niveau de filtrage sur les paramètres d'entrée et qu'il ait recraché les erreurs de la base de données). Des erreurs de débutants à tout point de vue :
Des rappels à l'ordre ont permis de corriger les erreurs, mais il faut des connaissances approfondies en matière de sécurité pour rectifier le tir. L'utilisation généralisée et non contrôlée de ces outils revient à lâcher des développeurs débutants sur vos projets, et si ce code construit des infrastructures sensibles ou traite des données personnelles, nous sommes face à une bombe à retardement.
Bien sûr, tout comme les développeurs débutants augmentent sans aucun doute leurs compétences avec le temps, nous nous attendons à ce que les capacités de l'IA/ML s'améliorent. Dans un an, elle ne commettra peut-être pas des erreurs de sécurité aussi évidentes et aussi simples. Toutefois, cela aura pour effet d'augmenter considérablement les compétences en matière de sécurité nécessaires pour traquer les erreurs de sécurité plus graves, cachées et non triviales qu'elle risque encore de produire.
Nous restons mal préparés à trouver et à corriger les failles de sécurité, et l'IA creuse l'écart.
Bien que l'on parle beaucoup du "glissement à gauche" depuis de nombreuses années, il n'en reste pas moins que, pour la plupart des organisations, la cohorte des développeurs manque cruellement de connaissances pratiques en matière de sécurité, et nous devons redoubler d'efforts pour leur fournir les outils et la formation adéquats afin de les aider à progresser.
Dans l'état actuel des choses, nous ne sommes pas préparés aux bogues de sécurité que nous avons l'habitude de rencontrer, sans parler des nouveaux problèmes liés à l'IA, tels que l'injection rapide et le squat des hallucinations, qui représentent des vecteurs d'attaque entièrement nouveaux et qui sont prêts à prendre leur essor comme une traînée de poudre. Les outils de codage de l'IA représentent l'avenir de l'arsenal de codage d'un développeur, mais c'est maintenant qu'il faut apprendre à manier ces armes de productivité en toute sécurité.
Une version de cet article a été publiée dans Lecture sombre. Elle a été mise à jour et publiée ici.
Dès les premiers bruits de couloir concernant les derniers outils d'IA qui bouleversent la culture, les développeurs et les curieux du codage les ont utilisés pour générer du code en appuyant sur un bouton. Les experts en sécurité ont rapidement souligné que, dans de nombreux cas, le code produit était de mauvaise qualité et vulnérable, et qu'entre les mains de personnes peu sensibilisées à la sécurité, il pouvait provoquer une avalanche d'applications et de développements web non sécurisés pour des consommateurs peu méfiants.
Et puis, il y a ceux qui ont suffisamment de connaissances en matière de sécurité pour les utiliser à des fins malveillantes. Pour chaque exploit époustouflant de l'IA, il semble qu'il y ait un contre-pied à l'utilisation de la même technologie à des fins malveillantes. L'hameçonnage, les fausses vidéos d'escroquerie, la création de logiciels malveillants, les manigances de script en général... ces activités perturbatrices sont réalisables beaucoup plus rapidement, avec des barrières à l'entrée plus faibles.
Il y a certainement beaucoup d'appâts à clics qui vantent cet outil comme étant révolutionnaire, ou du moins comme étant le meilleur lorsqu'il est comparé à des compétences humaines "moyennes". S'il semble inévitable que la technologie de l'IA de type LLM changera la façon dont nous abordons de nombreux aspects du travail - et pas seulement le développement de logiciels -, nous devons prendre du recul et considérer les risques au-delà des gros titres.
Et en tant que compagnon de codage, ses défauts sont peut-être son attribut le plus "humain".
Les mauvais schémas de codage dominent les solutions proposées.
Avec ChatGPT formé sur des décennies de code existant et de bases de connaissances, il n'est pas surprenant qu'en dépit de toutes ses merveilles et de son mystère, il souffre également des mêmes pièges communs auxquels les gens sont confrontés lorsqu'ils naviguent dans le code. Les mauvais modèles de codage sont monnaie courante, et il faut encore un pilote conscient de la sécurité pour générer des exemples de codage sûrs en posant les bonnes questions et en fournissant les bonnes techniques d'intervention.
Même dans ce cas, rien ne garantit que les extraits de code fournis sont exacts et fonctionnels du point de vue de la sécurité ; la technologie est sujette à des hallucinations, allant jusqu'à inventer des bibliothèques inexistantes lorsqu'on lui demande d'effectuer certaines opérations JSON spécifiques, comme l'a découvert Mike Shema. Cela pourrait conduire à un "squattage de l'hallucination" par les acteurs de la menace, qui ne seraient que trop heureux de créer un logiciel malveillant déguisé en la bibliothèque fabriquée recommandée en toute confiance par ChatGPT.
En fin de compte, nous devons nous rendre à l'évidence : en général, nous n'avons pas attendu des développeurs qu'ils soient suffisamment sensibilisés à la sécurité, et nous ne les avons pas non plus, en tant qu'industrie, suffisamment préparés à écrire du code sécurisé par défaut. Cela sera évident dans l'énorme quantité de données de formation introduites dans ChatGPT, et nous pouvons nous attendre à des résultats similaires en matière de sécurité, au moins dans un premier temps. Les développeurs devraient être en mesure d'identifier les bogues de sécurité et de les corriger eux-mêmes ou de concevoir de meilleurs messages-guides pour obtenir un résultat plus robuste.
La première étude à grande échelle menée par des chercheurs de l'université de Stanford sur la manière dont les utilisateurs interagissent avec un assistant de codage IA pour résoudre diverses fonctions liées à la sécurité vient étayer cette idée, avec une conclusion :
"Nous avons observé que les participants qui avaient accès à l'assistant d'intelligence artificielle étaient plus susceptibles d'introduire des failles de sécurité pour la majorité des tâches de programmation, mais aussi plus susceptibles d'évaluer leurs réponses non sécurisées comme étant sécurisées par rapport à ceux de notre groupe de contrôle."
Cela témoigne d'un niveau de confiance par défaut dans les résultats des outils de codage de l'IA comme produisant un code qui est toujours intrinsèquement sûr, alors qu'en fait il ne l'est pas.
Entre cela et les inévitables menaces liées à l'IA qui imprégneront notre avenir, les développeurs doivent plus que jamais perfectionner leurs compétences en matière de sécurité et relever la barre de la qualité du code, quelle qu'en soit l'origine.
Le chemin qui mène au désastre d'une violation de données est pavé de bonnes intentions
Il n'est pas surprenant que les compagnons de codage de l'IA soient populaires, en particulier parce que les développeurs sont confrontés à des responsabilités croissantes, à des délais plus serrés et aux ambitions d'innovation d'une entreprise qui reposent sur leurs épaules. Cependant, même avec les meilleures intentions, un manque de sensibilisation à la sécurité lors de l'utilisation de l'IA pour le codage conduira inévitablement à des problèmes de sécurité flagrants. Tous les développeurs utilisant des outils d'IA/ML produiront davantage de code, dont le niveau de risque de sécurité dépendra de leur niveau de compétence. Les organisations doivent être parfaitement conscientes du fait que les personnes non formées généreront certainement du code plus rapidement, mais qu'elles augmenteront également la vitesse de la dette de sécurité technique.
Même notre test préliminaire (avril 2023) avec ChatGPT a révélé qu'il génère des erreurs très élémentaires qui pourraient avoir des conséquences dévastatrices. Lorsque nous lui avons demandé de créer une routine de connexion en PHP à l'aide d'une base de données MySQL, le code fonctionnel a été généré rapidement. Cependant, il a choisi par défaut de stocker les mots de passe en clair dans une base de données, de stocker les identifiants de connexion à la base de données dans le code et d'utiliser un modèle de codage qui pourrait entraîner une injection SQL (bien qu'il ait effectué un certain niveau de filtrage sur les paramètres d'entrée et qu'il ait recraché les erreurs de la base de données). Des erreurs de débutants à tout point de vue :
Des rappels à l'ordre ont permis de corriger les erreurs, mais il faut des connaissances approfondies en matière de sécurité pour rectifier le tir. L'utilisation généralisée et non contrôlée de ces outils revient à lâcher des développeurs débutants sur vos projets, et si ce code construit des infrastructures sensibles ou traite des données personnelles, nous sommes face à une bombe à retardement.
Bien sûr, tout comme les développeurs débutants augmentent sans aucun doute leurs compétences avec le temps, nous nous attendons à ce que les capacités de l'IA/ML s'améliorent. Dans un an, elle ne commettra peut-être pas des erreurs de sécurité aussi évidentes et aussi simples. Toutefois, cela aura pour effet d'augmenter considérablement les compétences en matière de sécurité nécessaires pour traquer les erreurs de sécurité plus graves, cachées et non triviales qu'elle risque encore de produire.
Nous restons mal préparés à trouver et à corriger les failles de sécurité, et l'IA creuse l'écart.
Bien que l'on parle beaucoup du "glissement à gauche" depuis de nombreuses années, il n'en reste pas moins que, pour la plupart des organisations, la cohorte des développeurs manque cruellement de connaissances pratiques en matière de sécurité, et nous devons redoubler d'efforts pour leur fournir les outils et la formation adéquats afin de les aider à progresser.
Dans l'état actuel des choses, nous ne sommes pas préparés aux bogues de sécurité que nous avons l'habitude de rencontrer, sans parler des nouveaux problèmes liés à l'IA, tels que l'injection rapide et le squat des hallucinations, qui représentent des vecteurs d'attaque entièrement nouveaux et qui sont prêts à prendre leur essor comme une traînée de poudre. Les outils de codage de l'IA représentent l'avenir de l'arsenal de codage d'un développeur, mais c'est maintenant qu'il faut apprendre à manier ces armes de productivité en toute sécurité.
Cliquez sur le lien ci-dessous et téléchargez le PDF de cette ressource.
Secure Code Warrior est là pour vous aider à sécuriser le code tout au long du cycle de vie du développement logiciel et à créer une culture dans laquelle la cybersécurité est une priorité. Que vous soyez responsable AppSec, développeur, CISO ou toute autre personne impliquée dans la sécurité, nous pouvons aider votre organisation à réduire les risques associés à un code non sécurisé.
Voir le rapportRéservez une démonstrationDirecteur général, président et cofondateur
Pieter Danhieux est un expert en sécurité mondialement reconnu, avec plus de 12 ans d'expérience en tant que consultant en sécurité et 8 ans en tant qu'instructeur principal pour SANS, enseignant des techniques offensives sur la façon de cibler et d'évaluer les organisations, les systèmes et les individus pour les faiblesses de sécurité. En 2016, il a été reconnu comme l'une des personnes les plus cool d'Australie dans le domaine de la technologie (Business Insider), a reçu le prix du professionnel de la cybersécurité de l'année (AISA - Australian Information Security Association) et détient les certifications GSE, CISSP, GCIH, GCFA, GSEC, GPEN, GWAPT, GCIA.
Une version de cet article a été publiée dans Lecture sombre. Elle a été mise à jour et publiée ici.
Dès les premiers bruits de couloir concernant les derniers outils d'IA qui bouleversent la culture, les développeurs et les curieux du codage les ont utilisés pour générer du code en appuyant sur un bouton. Les experts en sécurité ont rapidement souligné que, dans de nombreux cas, le code produit était de mauvaise qualité et vulnérable, et qu'entre les mains de personnes peu sensibilisées à la sécurité, il pouvait provoquer une avalanche d'applications et de développements web non sécurisés pour des consommateurs peu méfiants.
Et puis, il y a ceux qui ont suffisamment de connaissances en matière de sécurité pour les utiliser à des fins malveillantes. Pour chaque exploit époustouflant de l'IA, il semble qu'il y ait un contre-pied à l'utilisation de la même technologie à des fins malveillantes. L'hameçonnage, les fausses vidéos d'escroquerie, la création de logiciels malveillants, les manigances de script en général... ces activités perturbatrices sont réalisables beaucoup plus rapidement, avec des barrières à l'entrée plus faibles.
Il y a certainement beaucoup d'appâts à clics qui vantent cet outil comme étant révolutionnaire, ou du moins comme étant le meilleur lorsqu'il est comparé à des compétences humaines "moyennes". S'il semble inévitable que la technologie de l'IA de type LLM changera la façon dont nous abordons de nombreux aspects du travail - et pas seulement le développement de logiciels -, nous devons prendre du recul et considérer les risques au-delà des gros titres.
Et en tant que compagnon de codage, ses défauts sont peut-être son attribut le plus "humain".
Les mauvais schémas de codage dominent les solutions proposées.
Avec ChatGPT formé sur des décennies de code existant et de bases de connaissances, il n'est pas surprenant qu'en dépit de toutes ses merveilles et de son mystère, il souffre également des mêmes pièges communs auxquels les gens sont confrontés lorsqu'ils naviguent dans le code. Les mauvais modèles de codage sont monnaie courante, et il faut encore un pilote conscient de la sécurité pour générer des exemples de codage sûrs en posant les bonnes questions et en fournissant les bonnes techniques d'intervention.
Même dans ce cas, rien ne garantit que les extraits de code fournis sont exacts et fonctionnels du point de vue de la sécurité ; la technologie est sujette à des hallucinations, allant jusqu'à inventer des bibliothèques inexistantes lorsqu'on lui demande d'effectuer certaines opérations JSON spécifiques, comme l'a découvert Mike Shema. Cela pourrait conduire à un "squattage de l'hallucination" par les acteurs de la menace, qui ne seraient que trop heureux de créer un logiciel malveillant déguisé en la bibliothèque fabriquée recommandée en toute confiance par ChatGPT.
En fin de compte, nous devons nous rendre à l'évidence : en général, nous n'avons pas attendu des développeurs qu'ils soient suffisamment sensibilisés à la sécurité, et nous ne les avons pas non plus, en tant qu'industrie, suffisamment préparés à écrire du code sécurisé par défaut. Cela sera évident dans l'énorme quantité de données de formation introduites dans ChatGPT, et nous pouvons nous attendre à des résultats similaires en matière de sécurité, au moins dans un premier temps. Les développeurs devraient être en mesure d'identifier les bogues de sécurité et de les corriger eux-mêmes ou de concevoir de meilleurs messages-guides pour obtenir un résultat plus robuste.
La première étude à grande échelle menée par des chercheurs de l'université de Stanford sur la manière dont les utilisateurs interagissent avec un assistant de codage IA pour résoudre diverses fonctions liées à la sécurité vient étayer cette idée, avec une conclusion :
"Nous avons observé que les participants qui avaient accès à l'assistant d'intelligence artificielle étaient plus susceptibles d'introduire des failles de sécurité pour la majorité des tâches de programmation, mais aussi plus susceptibles d'évaluer leurs réponses non sécurisées comme étant sécurisées par rapport à ceux de notre groupe de contrôle."
Cela témoigne d'un niveau de confiance par défaut dans les résultats des outils de codage de l'IA comme produisant un code qui est toujours intrinsèquement sûr, alors qu'en fait il ne l'est pas.
Entre cela et les inévitables menaces liées à l'IA qui imprégneront notre avenir, les développeurs doivent plus que jamais perfectionner leurs compétences en matière de sécurité et relever la barre de la qualité du code, quelle qu'en soit l'origine.
Le chemin qui mène au désastre d'une violation de données est pavé de bonnes intentions
Il n'est pas surprenant que les compagnons de codage de l'IA soient populaires, en particulier parce que les développeurs sont confrontés à des responsabilités croissantes, à des délais plus serrés et aux ambitions d'innovation d'une entreprise qui reposent sur leurs épaules. Cependant, même avec les meilleures intentions, un manque de sensibilisation à la sécurité lors de l'utilisation de l'IA pour le codage conduira inévitablement à des problèmes de sécurité flagrants. Tous les développeurs utilisant des outils d'IA/ML produiront davantage de code, dont le niveau de risque de sécurité dépendra de leur niveau de compétence. Les organisations doivent être parfaitement conscientes du fait que les personnes non formées généreront certainement du code plus rapidement, mais qu'elles augmenteront également la vitesse de la dette de sécurité technique.
Même notre test préliminaire (avril 2023) avec ChatGPT a révélé qu'il génère des erreurs très élémentaires qui pourraient avoir des conséquences dévastatrices. Lorsque nous lui avons demandé de créer une routine de connexion en PHP à l'aide d'une base de données MySQL, le code fonctionnel a été généré rapidement. Cependant, il a choisi par défaut de stocker les mots de passe en clair dans une base de données, de stocker les identifiants de connexion à la base de données dans le code et d'utiliser un modèle de codage qui pourrait entraîner une injection SQL (bien qu'il ait effectué un certain niveau de filtrage sur les paramètres d'entrée et qu'il ait recraché les erreurs de la base de données). Des erreurs de débutants à tout point de vue :
Des rappels à l'ordre ont permis de corriger les erreurs, mais il faut des connaissances approfondies en matière de sécurité pour rectifier le tir. L'utilisation généralisée et non contrôlée de ces outils revient à lâcher des développeurs débutants sur vos projets, et si ce code construit des infrastructures sensibles ou traite des données personnelles, nous sommes face à une bombe à retardement.
Bien sûr, tout comme les développeurs débutants augmentent sans aucun doute leurs compétences avec le temps, nous nous attendons à ce que les capacités de l'IA/ML s'améliorent. Dans un an, elle ne commettra peut-être pas des erreurs de sécurité aussi évidentes et aussi simples. Toutefois, cela aura pour effet d'augmenter considérablement les compétences en matière de sécurité nécessaires pour traquer les erreurs de sécurité plus graves, cachées et non triviales qu'elle risque encore de produire.
Nous restons mal préparés à trouver et à corriger les failles de sécurité, et l'IA creuse l'écart.
Bien que l'on parle beaucoup du "glissement à gauche" depuis de nombreuses années, il n'en reste pas moins que, pour la plupart des organisations, la cohorte des développeurs manque cruellement de connaissances pratiques en matière de sécurité, et nous devons redoubler d'efforts pour leur fournir les outils et la formation adéquats afin de les aider à progresser.
Dans l'état actuel des choses, nous ne sommes pas préparés aux bogues de sécurité que nous avons l'habitude de rencontrer, sans parler des nouveaux problèmes liés à l'IA, tels que l'injection rapide et le squat des hallucinations, qui représentent des vecteurs d'attaque entièrement nouveaux et qui sont prêts à prendre leur essor comme une traînée de poudre. Les outils de codage de l'IA représentent l'avenir de l'arsenal de codage d'un développeur, mais c'est maintenant qu'il faut apprendre à manier ces armes de productivité en toute sécurité.
Table des matières
Directeur général, président et cofondateur
Secure Code Warrior est là pour vous aider à sécuriser le code tout au long du cycle de vie du développement logiciel et à créer une culture dans laquelle la cybersécurité est une priorité. Que vous soyez responsable AppSec, développeur, CISO ou toute autre personne impliquée dans la sécurité, nous pouvons aider votre organisation à réduire les risques associés à un code non sécurisé.
Réservez une démonstrationTéléchargerRessources pour vous aider à démarrer
Évaluation comparative des compétences en matière de sécurité : Rationalisation de la conception sécurisée dans l'entreprise
Le mouvement "Secure-by-Design" (conception sécurisée) est l'avenir du développement de logiciels sécurisés. Découvrez les éléments clés que les entreprises doivent garder à l'esprit lorsqu'elles envisagent une initiative de conception sécurisée.
DigitalOcean réduit sa dette de sécurité avec Secure Code Warrior
L'utilisation par DigitalOcean de la formation Secure Code Warrior a considérablement réduit la dette de sécurité, permettant aux équipes de se concentrer davantage sur l'innovation et la productivité. L'amélioration de la sécurité a renforcé la qualité des produits et l'avantage concurrentiel de l'entreprise. À l'avenir, le score de confiance SCW les aidera à améliorer leurs pratiques de sécurité et à continuer à stimuler l'innovation.
Ressources pour vous aider à démarrer
La note de confiance révèle la valeur des initiatives d'amélioration de la sécurité par la conception
Nos recherches ont montré que la formation au code sécurisé fonctionne. Le Trust Score, qui utilise un algorithme s'appuyant sur plus de 20 millions de points de données d'apprentissage issus du travail de plus de 250 000 apprenants dans plus de 600 organisations, révèle son efficacité à réduire les vulnérabilités et la manière de rendre l'initiative encore plus efficace.
Sécurité réactive contre sécurité préventive : La prévention est un meilleur remède
L'idée d'apporter une sécurité préventive aux codes et systèmes existants en même temps qu'aux applications plus récentes peut sembler décourageante, mais une approche "Secure-by-Design", mise en œuvre en améliorant les compétences des développeurs, permet d'appliquer les meilleures pratiques de sécurité à ces systèmes. C'est la meilleure chance qu'ont de nombreuses organisations d'améliorer leur sécurité.
Les avantages de l'évaluation des compétences des développeurs en matière de sécurité
L'importance croissante accordée au code sécurisé et aux principes de conception sécurisée exige que les développeurs soient formés à la cybersécurité dès le début du cycle de développement durable, et que des outils tels que le Trust Score de Secure Code Warriorles aident à mesurer et à améliorer leurs progrès.
Assurer le succès des initiatives de conception sécurisée de l'entreprise
Notre dernier document de recherche, Benchmarking Security Skills : Streamlining Secure-by-Design in the Enterprise est le résultat d'une analyse approfondie d'initiatives réelles de conception sécurisée au niveau de l'entreprise, et de l'élaboration d'approches de meilleures pratiques basées sur des conclusions fondées sur des données.