Blog

Plongée en profondeur : Naviguer dans les vulnérabilités générées par les assistants de codage de l'IA

Laura Verheyde
Publié le 11 décembre 2023

Où que vous regardiez, la technologie de l'IA fait l'objet d'une fixation constante dans presque tous les secteurs verticaux. Louée par certains comme la réponse à la création rapide de fonctionnalités dans le développement de logiciels, les gains de vitesse ont un prix : le potentiel de bogues de sécurité graves se frayant un chemin dans les bases de code, grâce à un manque de conscience contextuelle de l'outil lui-même, et des compétences de sécurité de bas niveau des développeurs qui comptent sur eux pour stimuler la productivité et générer des réponses à des scénarios de développement difficiles. 

La technologie du grand modèle de langage (LLM) représente un changement radical dans les outils d'assistance et, si elle est utilisée de manière sûre, elle pourrait bien être le compagnon de programmation en binôme que tant d'ingénieurs en logiciel appellent de leurs vœux. Une étude réalisée en 2023 par l'université de Stanford a révélé que l'utilisation d'assistants d'intelligence artificielle était susceptible d'engendrer un code plus bogué et moins sûr dans l'ensemble, tout en augmentant la confiance dans la sécurité des résultats.

S'il est légitime de penser que les outils continueront à s'améliorer au fur et à mesure que la course à la perfection de la technologie LLM se poursuit, un ensemble de recommandations - dont un nouveau décret de l'administration Biden, ainsi que la loi sur l'intelligence artificielle de l'UE - rend leur utilisation délicate en tout état de cause. Les développeurs peuvent prendre une longueur d'avance en perfectionnant leurs compétences en matière de sécurité au niveau du code, leur sensibilisation et leur esprit critique à l'égard des résultats des outils d'IA, et devenir ainsi des ingénieurs de plus haut niveau.

Comment les assistants de codage de l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même !

Exemple : Scripting intersite (XSS) dans "ChatterGPT".

Notre nouvelle mission publique révèle l'interface familière d'un LLM populaire et utilise un extrait de code réel généré à la fin du mois de novembre 2023. Les utilisateurs peuvent interpréter ce bout de code et étudier les éventuels problèmes de sécurité s'il devait être utilisé dans le but prévu.

À la question "Pouvez-vous écrire une fonction JavaScript qui modifie le contenu de l'élément HTML p, dont le contenu est transmis par cette fonction ?", l'assistant d'IA produit consciencieusement un bloc de code, mais tout n'est pas ce qu'il semble être.

Avez-vous déjà relevé le défi ? Si ce n'est pas le cas, essayez maintenant avant de lire la suite.

... ok, maintenant que vous l'avez terminé, vous savez que le code en question est vulnérable au cross-site scripting (XSS). 

Le XSS est rendu possible par la manipulation de la fonctionnalité de base des navigateurs web. Il peut se produire lorsque des données non fiables sont affichées sur une page, mais interprétées à tort comme du code exécutable et sûr. Un pirate peut placer un extrait malveillant (balises HTML, JavaScript, etc.) dans un paramètre d'entrée, qui, lorsqu'il est renvoyé au navigateur, est alors exécuté au lieu d'être affiché en tant que données.

Utiliser des assistants de codage IA en toute sécurité dans le développement de logiciels

Une récente enquête menée auprès d'équipes de développement en activité a révélé que la quasi-totalité d'entre elles - soit 96 % - ont commencé à utiliser des assistants d'IA dans leur flux de travail, 80 % d'entre elles contournant même les politiques de sécurité pour les conserver dans leur boîte à outils. En outre, plus de la moitié d'entre elles reconnaissent que les outils d'IA générative créent couramment du code non sécurisé, mais cela n'a manifestement pas ralenti l'adoption de ces outils.

Avec cette nouvelle ère de processus de développement de logiciels, décourager ou interdire l'utilisation de ces outils a peu de chances de fonctionner. Au contraire, les organisations doivent permettre à leurs équipes de développement d'utiliser les gains d'efficacité et de productivité sans sacrifier la sécurité ou la qualité du code. Pour ce faire, il faut les former avec précision aux meilleures pratiques de codage sécurisé et leur donner la possibilité de développer leur esprit critique, en veillant à ce qu'ils agissent avec un état d'esprit axé sur la sécurité, en particulier lorsqu'ils évaluent la menace potentielle que représente le code produit par l'assistant d'IA. 

Pour en savoir plus

Pour les XSS en général, consultez notre guide complet.

Vous voulez en savoir plus sur la manière d'écrire du code sécurisé et de réduire les risques? Essayez gratuitement notre défi d'injection XSS.

Si vous souhaitez obtenir d'autres directives de codage gratuites, consultez Secure Code Coach pour vous aider à rester au fait des meilleures pratiques en matière de codage sécurisé.

Vous voulez en savoir plus ? Téléchargez notre dernier livre blanc.
Voir la ressource
Voir la ressource

Explorez les risques de sécurité de l'IA dans le développement de logiciels et apprenez à relever ces défis de manière efficace avec Secure Code Warrior.

Vous souhaitez en savoir plus ?

Secure Code Warrior est là pour vous aider à sécuriser le code tout au long du cycle de vie du développement logiciel et à créer une culture dans laquelle la cybersécurité est une priorité. Que vous soyez responsable AppSec, développeur, CISO ou toute autre personne impliquée dans la sécurité, nous pouvons aider votre organisation à réduire les risques associés à un code non sécurisé.

Réservez une démonstration
Partager sur :
Auteur
Laura Verheyde
Publié le 11 décembre 2023

Laura Verheyde est développeuse de logiciels à l'adresse Secure Code Warrior . Elle se consacre à la recherche de vulnérabilités et à la création de contenu pour Missions et Coding labs.

Partager sur :

Où que vous regardiez, la technologie de l'IA fait l'objet d'une fixation constante dans presque tous les secteurs verticaux. Louée par certains comme la réponse à la création rapide de fonctionnalités dans le développement de logiciels, les gains de vitesse ont un prix : le potentiel de bogues de sécurité graves se frayant un chemin dans les bases de code, grâce à un manque de conscience contextuelle de l'outil lui-même, et des compétences de sécurité de bas niveau des développeurs qui comptent sur eux pour stimuler la productivité et générer des réponses à des scénarios de développement difficiles. 

La technologie du grand modèle de langage (LLM) représente un changement radical dans les outils d'assistance et, si elle est utilisée de manière sûre, elle pourrait bien être le compagnon de programmation en binôme que tant d'ingénieurs en logiciel appellent de leurs vœux. Une étude réalisée en 2023 par l'université de Stanford a révélé que l'utilisation d'assistants d'intelligence artificielle était susceptible d'engendrer un code plus bogué et moins sûr dans l'ensemble, tout en augmentant la confiance dans la sécurité des résultats.

S'il est légitime de penser que les outils continueront à s'améliorer au fur et à mesure que la course à la perfection de la technologie LLM se poursuit, un ensemble de recommandations - dont un nouveau décret de l'administration Biden, ainsi que la loi sur l'intelligence artificielle de l'UE - rend leur utilisation délicate en tout état de cause. Les développeurs peuvent prendre une longueur d'avance en perfectionnant leurs compétences en matière de sécurité au niveau du code, leur sensibilisation et leur esprit critique à l'égard des résultats des outils d'IA, et devenir ainsi des ingénieurs de plus haut niveau.

Comment les assistants de codage de l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même !

Exemple : Scripting intersite (XSS) dans "ChatterGPT".

Notre nouvelle mission publique révèle l'interface familière d'un LLM populaire et utilise un extrait de code réel généré à la fin du mois de novembre 2023. Les utilisateurs peuvent interpréter ce bout de code et étudier les éventuels problèmes de sécurité s'il devait être utilisé dans le but prévu.

À la question "Pouvez-vous écrire une fonction JavaScript qui modifie le contenu de l'élément HTML p, dont le contenu est transmis par cette fonction ?", l'assistant d'IA produit consciencieusement un bloc de code, mais tout n'est pas ce qu'il semble être.

Avez-vous déjà relevé le défi ? Si ce n'est pas le cas, essayez maintenant avant de lire la suite.

... ok, maintenant que vous l'avez terminé, vous savez que le code en question est vulnérable au cross-site scripting (XSS). 

Le XSS est rendu possible par la manipulation de la fonctionnalité de base des navigateurs web. Il peut se produire lorsque des données non fiables sont affichées sur une page, mais interprétées à tort comme du code exécutable et sûr. Un pirate peut placer un extrait malveillant (balises HTML, JavaScript, etc.) dans un paramètre d'entrée, qui, lorsqu'il est renvoyé au navigateur, est alors exécuté au lieu d'être affiché en tant que données.

Utiliser des assistants de codage IA en toute sécurité dans le développement de logiciels

Une récente enquête menée auprès d'équipes de développement en activité a révélé que la quasi-totalité d'entre elles - soit 96 % - ont commencé à utiliser des assistants d'IA dans leur flux de travail, 80 % d'entre elles contournant même les politiques de sécurité pour les conserver dans leur boîte à outils. En outre, plus de la moitié d'entre elles reconnaissent que les outils d'IA générative créent couramment du code non sécurisé, mais cela n'a manifestement pas ralenti l'adoption de ces outils.

Avec cette nouvelle ère de processus de développement de logiciels, décourager ou interdire l'utilisation de ces outils a peu de chances de fonctionner. Au contraire, les organisations doivent permettre à leurs équipes de développement d'utiliser les gains d'efficacité et de productivité sans sacrifier la sécurité ou la qualité du code. Pour ce faire, il faut les former avec précision aux meilleures pratiques de codage sécurisé et leur donner la possibilité de développer leur esprit critique, en veillant à ce qu'ils agissent avec un état d'esprit axé sur la sécurité, en particulier lorsqu'ils évaluent la menace potentielle que représente le code produit par l'assistant d'IA. 

Pour en savoir plus

Pour les XSS en général, consultez notre guide complet.

Vous voulez en savoir plus sur la manière d'écrire du code sécurisé et de réduire les risques? Essayez gratuitement notre défi d'injection XSS.

Si vous souhaitez obtenir d'autres directives de codage gratuites, consultez Secure Code Coach pour vous aider à rester au fait des meilleures pratiques en matière de codage sécurisé.

Vous voulez en savoir plus ? Téléchargez notre dernier livre blanc.
Voir la ressource
Voir la ressource

Remplissez le formulaire ci-dessous pour télécharger le rapport

Nous aimerions que vous nous autorisiez à vous envoyer des informations sur nos produits et/ou sur des sujets liés au codage sécurisé. Nous traiterons toujours vos données personnelles avec le plus grand soin et ne les vendrons jamais à d'autres entreprises à des fins de marketing.

Soumettre
Pour soumettre le formulaire, veuillez activer les cookies "Analytics". N'hésitez pas à les désactiver à nouveau une fois que vous aurez terminé.

Où que vous regardiez, la technologie de l'IA fait l'objet d'une fixation constante dans presque tous les secteurs verticaux. Louée par certains comme la réponse à la création rapide de fonctionnalités dans le développement de logiciels, les gains de vitesse ont un prix : le potentiel de bogues de sécurité graves se frayant un chemin dans les bases de code, grâce à un manque de conscience contextuelle de l'outil lui-même, et des compétences de sécurité de bas niveau des développeurs qui comptent sur eux pour stimuler la productivité et générer des réponses à des scénarios de développement difficiles. 

La technologie du grand modèle de langage (LLM) représente un changement radical dans les outils d'assistance et, si elle est utilisée de manière sûre, elle pourrait bien être le compagnon de programmation en binôme que tant d'ingénieurs en logiciel appellent de leurs vœux. Une étude réalisée en 2023 par l'université de Stanford a révélé que l'utilisation d'assistants d'intelligence artificielle était susceptible d'engendrer un code plus bogué et moins sûr dans l'ensemble, tout en augmentant la confiance dans la sécurité des résultats.

S'il est légitime de penser que les outils continueront à s'améliorer au fur et à mesure que la course à la perfection de la technologie LLM se poursuit, un ensemble de recommandations - dont un nouveau décret de l'administration Biden, ainsi que la loi sur l'intelligence artificielle de l'UE - rend leur utilisation délicate en tout état de cause. Les développeurs peuvent prendre une longueur d'avance en perfectionnant leurs compétences en matière de sécurité au niveau du code, leur sensibilisation et leur esprit critique à l'égard des résultats des outils d'IA, et devenir ainsi des ingénieurs de plus haut niveau.

Comment les assistants de codage de l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même !

Exemple : Scripting intersite (XSS) dans "ChatterGPT".

Notre nouvelle mission publique révèle l'interface familière d'un LLM populaire et utilise un extrait de code réel généré à la fin du mois de novembre 2023. Les utilisateurs peuvent interpréter ce bout de code et étudier les éventuels problèmes de sécurité s'il devait être utilisé dans le but prévu.

À la question "Pouvez-vous écrire une fonction JavaScript qui modifie le contenu de l'élément HTML p, dont le contenu est transmis par cette fonction ?", l'assistant d'IA produit consciencieusement un bloc de code, mais tout n'est pas ce qu'il semble être.

Avez-vous déjà relevé le défi ? Si ce n'est pas le cas, essayez maintenant avant de lire la suite.

... ok, maintenant que vous l'avez terminé, vous savez que le code en question est vulnérable au cross-site scripting (XSS). 

Le XSS est rendu possible par la manipulation de la fonctionnalité de base des navigateurs web. Il peut se produire lorsque des données non fiables sont affichées sur une page, mais interprétées à tort comme du code exécutable et sûr. Un pirate peut placer un extrait malveillant (balises HTML, JavaScript, etc.) dans un paramètre d'entrée, qui, lorsqu'il est renvoyé au navigateur, est alors exécuté au lieu d'être affiché en tant que données.

Utiliser des assistants de codage IA en toute sécurité dans le développement de logiciels

Une récente enquête menée auprès d'équipes de développement en activité a révélé que la quasi-totalité d'entre elles - soit 96 % - ont commencé à utiliser des assistants d'IA dans leur flux de travail, 80 % d'entre elles contournant même les politiques de sécurité pour les conserver dans leur boîte à outils. En outre, plus de la moitié d'entre elles reconnaissent que les outils d'IA générative créent couramment du code non sécurisé, mais cela n'a manifestement pas ralenti l'adoption de ces outils.

Avec cette nouvelle ère de processus de développement de logiciels, décourager ou interdire l'utilisation de ces outils a peu de chances de fonctionner. Au contraire, les organisations doivent permettre à leurs équipes de développement d'utiliser les gains d'efficacité et de productivité sans sacrifier la sécurité ou la qualité du code. Pour ce faire, il faut les former avec précision aux meilleures pratiques de codage sécurisé et leur donner la possibilité de développer leur esprit critique, en veillant à ce qu'ils agissent avec un état d'esprit axé sur la sécurité, en particulier lorsqu'ils évaluent la menace potentielle que représente le code produit par l'assistant d'IA. 

Pour en savoir plus

Pour les XSS en général, consultez notre guide complet.

Vous voulez en savoir plus sur la manière d'écrire du code sécurisé et de réduire les risques? Essayez gratuitement notre défi d'injection XSS.

Si vous souhaitez obtenir d'autres directives de codage gratuites, consultez Secure Code Coach pour vous aider à rester au fait des meilleures pratiques en matière de codage sécurisé.

Vous voulez en savoir plus ? Téléchargez notre dernier livre blanc.
Accès aux ressources

Cliquez sur le lien ci-dessous et téléchargez le PDF de cette ressource.

Secure Code Warrior est là pour vous aider à sécuriser le code tout au long du cycle de vie du développement logiciel et à créer une culture dans laquelle la cybersécurité est une priorité. Que vous soyez responsable AppSec, développeur, CISO ou toute autre personne impliquée dans la sécurité, nous pouvons aider votre organisation à réduire les risques associés à un code non sécurisé.

Voir le rapportRéservez une démonstration
Télécharger le PDF
Voir la ressource
Partager sur :
Vous souhaitez en savoir plus ?

Comment les assistants de codage de l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même ! Cette mission révèle l'interface familière d'un LLM populaire et utilise un extrait de code réel généré à la fin du mois de novembre 2023. Les utilisateurs peuvent interpréter ce bout de code et étudier les éventuels problèmes de sécurité s'il était utilisé dans le but prévu.

Essayez la mission
Partager sur :
Auteur
Laura Verheyde
Publié le 11 décembre 2023

Laura Verheyde est développeuse de logiciels à l'adresse Secure Code Warrior . Elle se consacre à la recherche de vulnérabilités et à la création de contenu pour Missions et Coding labs.

Partager sur :

Où que vous regardiez, la technologie de l'IA fait l'objet d'une fixation constante dans presque tous les secteurs verticaux. Louée par certains comme la réponse à la création rapide de fonctionnalités dans le développement de logiciels, les gains de vitesse ont un prix : le potentiel de bogues de sécurité graves se frayant un chemin dans les bases de code, grâce à un manque de conscience contextuelle de l'outil lui-même, et des compétences de sécurité de bas niveau des développeurs qui comptent sur eux pour stimuler la productivité et générer des réponses à des scénarios de développement difficiles. 

La technologie du grand modèle de langage (LLM) représente un changement radical dans les outils d'assistance et, si elle est utilisée de manière sûre, elle pourrait bien être le compagnon de programmation en binôme que tant d'ingénieurs en logiciel appellent de leurs vœux. Une étude réalisée en 2023 par l'université de Stanford a révélé que l'utilisation d'assistants d'intelligence artificielle était susceptible d'engendrer un code plus bogué et moins sûr dans l'ensemble, tout en augmentant la confiance dans la sécurité des résultats.

S'il est légitime de penser que les outils continueront à s'améliorer au fur et à mesure que la course à la perfection de la technologie LLM se poursuit, un ensemble de recommandations - dont un nouveau décret de l'administration Biden, ainsi que la loi sur l'intelligence artificielle de l'UE - rend leur utilisation délicate en tout état de cause. Les développeurs peuvent prendre une longueur d'avance en perfectionnant leurs compétences en matière de sécurité au niveau du code, leur sensibilisation et leur esprit critique à l'égard des résultats des outils d'IA, et devenir ainsi des ingénieurs de plus haut niveau.

Comment les assistants de codage de l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même !

Exemple : Scripting intersite (XSS) dans "ChatterGPT".

Notre nouvelle mission publique révèle l'interface familière d'un LLM populaire et utilise un extrait de code réel généré à la fin du mois de novembre 2023. Les utilisateurs peuvent interpréter ce bout de code et étudier les éventuels problèmes de sécurité s'il devait être utilisé dans le but prévu.

À la question "Pouvez-vous écrire une fonction JavaScript qui modifie le contenu de l'élément HTML p, dont le contenu est transmis par cette fonction ?", l'assistant d'IA produit consciencieusement un bloc de code, mais tout n'est pas ce qu'il semble être.

Avez-vous déjà relevé le défi ? Si ce n'est pas le cas, essayez maintenant avant de lire la suite.

... ok, maintenant que vous l'avez terminé, vous savez que le code en question est vulnérable au cross-site scripting (XSS). 

Le XSS est rendu possible par la manipulation de la fonctionnalité de base des navigateurs web. Il peut se produire lorsque des données non fiables sont affichées sur une page, mais interprétées à tort comme du code exécutable et sûr. Un pirate peut placer un extrait malveillant (balises HTML, JavaScript, etc.) dans un paramètre d'entrée, qui, lorsqu'il est renvoyé au navigateur, est alors exécuté au lieu d'être affiché en tant que données.

Utiliser des assistants de codage IA en toute sécurité dans le développement de logiciels

Une récente enquête menée auprès d'équipes de développement en activité a révélé que la quasi-totalité d'entre elles - soit 96 % - ont commencé à utiliser des assistants d'IA dans leur flux de travail, 80 % d'entre elles contournant même les politiques de sécurité pour les conserver dans leur boîte à outils. En outre, plus de la moitié d'entre elles reconnaissent que les outils d'IA générative créent couramment du code non sécurisé, mais cela n'a manifestement pas ralenti l'adoption de ces outils.

Avec cette nouvelle ère de processus de développement de logiciels, décourager ou interdire l'utilisation de ces outils a peu de chances de fonctionner. Au contraire, les organisations doivent permettre à leurs équipes de développement d'utiliser les gains d'efficacité et de productivité sans sacrifier la sécurité ou la qualité du code. Pour ce faire, il faut les former avec précision aux meilleures pratiques de codage sécurisé et leur donner la possibilité de développer leur esprit critique, en veillant à ce qu'ils agissent avec un état d'esprit axé sur la sécurité, en particulier lorsqu'ils évaluent la menace potentielle que représente le code produit par l'assistant d'IA. 

Pour en savoir plus

Pour les XSS en général, consultez notre guide complet.

Vous voulez en savoir plus sur la manière d'écrire du code sécurisé et de réduire les risques? Essayez gratuitement notre défi d'injection XSS.

Si vous souhaitez obtenir d'autres directives de codage gratuites, consultez Secure Code Coach pour vous aider à rester au fait des meilleures pratiques en matière de codage sécurisé.

Vous voulez en savoir plus ? Téléchargez notre dernier livre blanc.

Table des matières

Télécharger le PDF
Voir la ressource
Vous souhaitez en savoir plus ?

Secure Code Warrior est là pour vous aider à sécuriser le code tout au long du cycle de vie du développement logiciel et à créer une culture dans laquelle la cybersécurité est une priorité. Que vous soyez responsable AppSec, développeur, CISO ou toute autre personne impliquée dans la sécurité, nous pouvons aider votre organisation à réduire les risques associés à un code non sécurisé.

Réservez une démonstrationTélécharger
Partager sur :
Centre de ressources

Ressources pour vous aider à démarrer

Plus d'articles
Centre de ressources

Ressources pour vous aider à démarrer

Plus d'articles