Plongée en profondeur : Naviguer dans les vulnérabilités générées par les assistants de codage de l'IA
Où que vous regardiez, la technologie de l'IA fait l'objet d'une fixation constante dans presque tous les secteurs verticaux. Louée par certains comme la réponse à la création rapide de fonctionnalités dans le développement de logiciels, les gains de vitesse ont un prix : le potentiel de bogues de sécurité graves se frayant un chemin dans les bases de code, grâce à un manque de conscience contextuelle de l'outil lui-même, et des compétences de sécurité de bas niveau des développeurs qui comptent sur eux pour stimuler la productivité et générer des réponses à des scénarios de développement difficiles.
La technologie du grand modèle de langage (LLM) représente un changement radical dans les outils d'assistance et, si elle est utilisée de manière sûre, elle pourrait bien être le compagnon de programmation en binôme que tant d'ingénieurs en logiciel appellent de leurs vœux. Une étude réalisée en 2023 par l'université de Stanford a révélé que l'utilisation d'assistants d'intelligence artificielle était susceptible d'engendrer un code plus bogué et moins sûr dans l'ensemble, tout en augmentant la confiance dans la sécurité des résultats.
S'il est légitime de penser que les outils continueront à s'améliorer au fur et à mesure que la course à la perfection de la technologie LLM se poursuit, un ensemble de recommandations - dont un nouveau décret de l'administration Biden, ainsi que la loi sur l'intelligence artificielle de l'UE - rend leur utilisation délicate en tout état de cause. Les développeurs peuvent prendre une longueur d'avance en perfectionnant leurs compétences en matière de sécurité au niveau du code, leur sensibilisation et leur esprit critique à l'égard des résultats des outils d'IA, et devenir ainsi des ingénieurs de plus haut niveau.
Comment les assistants de codage de l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même !
Exemple : Scripting intersite (XSS) dans "ChatterGPT".
Notre nouvelle mission publique révèle l'interface familière d'un LLM populaire et utilise un extrait de code réel généré à la fin du mois de novembre 2023. Les utilisateurs peuvent interpréter ce bout de code et étudier les éventuels problèmes de sécurité s'il devait être utilisé dans le but prévu.
À la question "Pouvez-vous écrire une fonction JavaScript qui modifie le contenu de l'élément HTML p, dont le contenu est transmis par cette fonction ?", l'assistant d'IA produit consciencieusement un bloc de code, mais tout n'est pas ce qu'il semble être.
Avez-vous déjà relevé le défi ? Si ce n'est pas le cas, essayez maintenant avant de lire la suite.
... ok, maintenant que vous l'avez terminé, vous savez que le code en question est vulnérable au cross-site scripting (XSS).
Le XSS est rendu possible par la manipulation de la fonctionnalité de base des navigateurs web. Il peut se produire lorsque des données non fiables sont affichées sur une page, mais interprétées à tort comme du code exécutable et sûr. Un pirate peut placer un extrait malveillant (balises HTML, JavaScript, etc.) dans un paramètre d'entrée, qui, lorsqu'il est renvoyé au navigateur, est alors exécuté au lieu d'être affiché en tant que données.
Utiliser des assistants de codage IA en toute sécurité dans le développement de logiciels
Une récente enquête menée auprès d'équipes de développement en activité a révélé que la quasi-totalité d'entre elles - soit 96 % - ont commencé à utiliser des assistants d'IA dans leur flux de travail, 80 % d'entre elles contournant même les politiques de sécurité pour les conserver dans leur boîte à outils. En outre, plus de la moitié d'entre elles reconnaissent que les outils d'IA générative créent couramment du code non sécurisé, mais cela n'a manifestement pas ralenti l'adoption de ces outils.
Avec cette nouvelle ère de processus de développement de logiciels, décourager ou interdire l'utilisation de ces outils a peu de chances de fonctionner. Au contraire, les organisations doivent permettre à leurs équipes de développement d'utiliser les gains d'efficacité et de productivité sans sacrifier la sécurité ou la qualité du code. Pour ce faire, il faut les former avec précision aux meilleures pratiques de codage sécurisé et leur donner la possibilité de développer leur esprit critique, en veillant à ce qu'ils agissent avec un état d'esprit axé sur la sécurité, en particulier lorsqu'ils évaluent la menace potentielle que représente le code produit par l'assistant d'IA.
Pour en savoir plus
Pour les XSS en général, consultez notre guide complet.
Vous voulez en savoir plus sur la manière d'écrire du code sécurisé et de réduire les risques? Essayez gratuitement notre défi d'injection XSS.
Si vous souhaitez obtenir d'autres directives de codage gratuites, consultez Secure Code Coach pour vous aider à rester au fait des meilleures pratiques en matière de codage sécurisé.
Explorez les risques de sécurité de l'IA dans le développement de logiciels et apprenez à relever ces défis de manière efficace avec Secure Code Warrior.
Secure Code Warrior est là pour vous aider à sécuriser le code tout au long du cycle de vie du développement logiciel et à créer une culture dans laquelle la cybersécurité est une priorité. Que vous soyez responsable AppSec, développeur, CISO ou toute autre personne impliquée dans la sécurité, nous pouvons aider votre organisation à réduire les risques associés à un code non sécurisé.
Réservez une démonstrationLaura Verheyde est développeuse de logiciels à l'adresse Secure Code Warrior . Elle se consacre à la recherche de vulnérabilités et à la création de contenu pour Missions et Coding labs.
Où que vous regardiez, la technologie de l'IA fait l'objet d'une fixation constante dans presque tous les secteurs verticaux. Louée par certains comme la réponse à la création rapide de fonctionnalités dans le développement de logiciels, les gains de vitesse ont un prix : le potentiel de bogues de sécurité graves se frayant un chemin dans les bases de code, grâce à un manque de conscience contextuelle de l'outil lui-même, et des compétences de sécurité de bas niveau des développeurs qui comptent sur eux pour stimuler la productivité et générer des réponses à des scénarios de développement difficiles.
La technologie du grand modèle de langage (LLM) représente un changement radical dans les outils d'assistance et, si elle est utilisée de manière sûre, elle pourrait bien être le compagnon de programmation en binôme que tant d'ingénieurs en logiciel appellent de leurs vœux. Une étude réalisée en 2023 par l'université de Stanford a révélé que l'utilisation d'assistants d'intelligence artificielle était susceptible d'engendrer un code plus bogué et moins sûr dans l'ensemble, tout en augmentant la confiance dans la sécurité des résultats.
S'il est légitime de penser que les outils continueront à s'améliorer au fur et à mesure que la course à la perfection de la technologie LLM se poursuit, un ensemble de recommandations - dont un nouveau décret de l'administration Biden, ainsi que la loi sur l'intelligence artificielle de l'UE - rend leur utilisation délicate en tout état de cause. Les développeurs peuvent prendre une longueur d'avance en perfectionnant leurs compétences en matière de sécurité au niveau du code, leur sensibilisation et leur esprit critique à l'égard des résultats des outils d'IA, et devenir ainsi des ingénieurs de plus haut niveau.
Comment les assistants de codage de l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même !
Exemple : Scripting intersite (XSS) dans "ChatterGPT".
Notre nouvelle mission publique révèle l'interface familière d'un LLM populaire et utilise un extrait de code réel généré à la fin du mois de novembre 2023. Les utilisateurs peuvent interpréter ce bout de code et étudier les éventuels problèmes de sécurité s'il devait être utilisé dans le but prévu.
À la question "Pouvez-vous écrire une fonction JavaScript qui modifie le contenu de l'élément HTML p, dont le contenu est transmis par cette fonction ?", l'assistant d'IA produit consciencieusement un bloc de code, mais tout n'est pas ce qu'il semble être.
Avez-vous déjà relevé le défi ? Si ce n'est pas le cas, essayez maintenant avant de lire la suite.
... ok, maintenant que vous l'avez terminé, vous savez que le code en question est vulnérable au cross-site scripting (XSS).
Le XSS est rendu possible par la manipulation de la fonctionnalité de base des navigateurs web. Il peut se produire lorsque des données non fiables sont affichées sur une page, mais interprétées à tort comme du code exécutable et sûr. Un pirate peut placer un extrait malveillant (balises HTML, JavaScript, etc.) dans un paramètre d'entrée, qui, lorsqu'il est renvoyé au navigateur, est alors exécuté au lieu d'être affiché en tant que données.
Utiliser des assistants de codage IA en toute sécurité dans le développement de logiciels
Une récente enquête menée auprès d'équipes de développement en activité a révélé que la quasi-totalité d'entre elles - soit 96 % - ont commencé à utiliser des assistants d'IA dans leur flux de travail, 80 % d'entre elles contournant même les politiques de sécurité pour les conserver dans leur boîte à outils. En outre, plus de la moitié d'entre elles reconnaissent que les outils d'IA générative créent couramment du code non sécurisé, mais cela n'a manifestement pas ralenti l'adoption de ces outils.
Avec cette nouvelle ère de processus de développement de logiciels, décourager ou interdire l'utilisation de ces outils a peu de chances de fonctionner. Au contraire, les organisations doivent permettre à leurs équipes de développement d'utiliser les gains d'efficacité et de productivité sans sacrifier la sécurité ou la qualité du code. Pour ce faire, il faut les former avec précision aux meilleures pratiques de codage sécurisé et leur donner la possibilité de développer leur esprit critique, en veillant à ce qu'ils agissent avec un état d'esprit axé sur la sécurité, en particulier lorsqu'ils évaluent la menace potentielle que représente le code produit par l'assistant d'IA.
Pour en savoir plus
Pour les XSS en général, consultez notre guide complet.
Vous voulez en savoir plus sur la manière d'écrire du code sécurisé et de réduire les risques? Essayez gratuitement notre défi d'injection XSS.
Si vous souhaitez obtenir d'autres directives de codage gratuites, consultez Secure Code Coach pour vous aider à rester au fait des meilleures pratiques en matière de codage sécurisé.
Où que vous regardiez, la technologie de l'IA fait l'objet d'une fixation constante dans presque tous les secteurs verticaux. Louée par certains comme la réponse à la création rapide de fonctionnalités dans le développement de logiciels, les gains de vitesse ont un prix : le potentiel de bogues de sécurité graves se frayant un chemin dans les bases de code, grâce à un manque de conscience contextuelle de l'outil lui-même, et des compétences de sécurité de bas niveau des développeurs qui comptent sur eux pour stimuler la productivité et générer des réponses à des scénarios de développement difficiles.
La technologie du grand modèle de langage (LLM) représente un changement radical dans les outils d'assistance et, si elle est utilisée de manière sûre, elle pourrait bien être le compagnon de programmation en binôme que tant d'ingénieurs en logiciel appellent de leurs vœux. Une étude réalisée en 2023 par l'université de Stanford a révélé que l'utilisation d'assistants d'intelligence artificielle était susceptible d'engendrer un code plus bogué et moins sûr dans l'ensemble, tout en augmentant la confiance dans la sécurité des résultats.
S'il est légitime de penser que les outils continueront à s'améliorer au fur et à mesure que la course à la perfection de la technologie LLM se poursuit, un ensemble de recommandations - dont un nouveau décret de l'administration Biden, ainsi que la loi sur l'intelligence artificielle de l'UE - rend leur utilisation délicate en tout état de cause. Les développeurs peuvent prendre une longueur d'avance en perfectionnant leurs compétences en matière de sécurité au niveau du code, leur sensibilisation et leur esprit critique à l'égard des résultats des outils d'IA, et devenir ainsi des ingénieurs de plus haut niveau.
Comment les assistants de codage de l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même !
Exemple : Scripting intersite (XSS) dans "ChatterGPT".
Notre nouvelle mission publique révèle l'interface familière d'un LLM populaire et utilise un extrait de code réel généré à la fin du mois de novembre 2023. Les utilisateurs peuvent interpréter ce bout de code et étudier les éventuels problèmes de sécurité s'il devait être utilisé dans le but prévu.
À la question "Pouvez-vous écrire une fonction JavaScript qui modifie le contenu de l'élément HTML p, dont le contenu est transmis par cette fonction ?", l'assistant d'IA produit consciencieusement un bloc de code, mais tout n'est pas ce qu'il semble être.
Avez-vous déjà relevé le défi ? Si ce n'est pas le cas, essayez maintenant avant de lire la suite.
... ok, maintenant que vous l'avez terminé, vous savez que le code en question est vulnérable au cross-site scripting (XSS).
Le XSS est rendu possible par la manipulation de la fonctionnalité de base des navigateurs web. Il peut se produire lorsque des données non fiables sont affichées sur une page, mais interprétées à tort comme du code exécutable et sûr. Un pirate peut placer un extrait malveillant (balises HTML, JavaScript, etc.) dans un paramètre d'entrée, qui, lorsqu'il est renvoyé au navigateur, est alors exécuté au lieu d'être affiché en tant que données.
Utiliser des assistants de codage IA en toute sécurité dans le développement de logiciels
Une récente enquête menée auprès d'équipes de développement en activité a révélé que la quasi-totalité d'entre elles - soit 96 % - ont commencé à utiliser des assistants d'IA dans leur flux de travail, 80 % d'entre elles contournant même les politiques de sécurité pour les conserver dans leur boîte à outils. En outre, plus de la moitié d'entre elles reconnaissent que les outils d'IA générative créent couramment du code non sécurisé, mais cela n'a manifestement pas ralenti l'adoption de ces outils.
Avec cette nouvelle ère de processus de développement de logiciels, décourager ou interdire l'utilisation de ces outils a peu de chances de fonctionner. Au contraire, les organisations doivent permettre à leurs équipes de développement d'utiliser les gains d'efficacité et de productivité sans sacrifier la sécurité ou la qualité du code. Pour ce faire, il faut les former avec précision aux meilleures pratiques de codage sécurisé et leur donner la possibilité de développer leur esprit critique, en veillant à ce qu'ils agissent avec un état d'esprit axé sur la sécurité, en particulier lorsqu'ils évaluent la menace potentielle que représente le code produit par l'assistant d'IA.
Pour en savoir plus
Pour les XSS en général, consultez notre guide complet.
Vous voulez en savoir plus sur la manière d'écrire du code sécurisé et de réduire les risques? Essayez gratuitement notre défi d'injection XSS.
Si vous souhaitez obtenir d'autres directives de codage gratuites, consultez Secure Code Coach pour vous aider à rester au fait des meilleures pratiques en matière de codage sécurisé.
Cliquez sur le lien ci-dessous et téléchargez le PDF de cette ressource.
Secure Code Warrior est là pour vous aider à sécuriser le code tout au long du cycle de vie du développement logiciel et à créer une culture dans laquelle la cybersécurité est une priorité. Que vous soyez responsable AppSec, développeur, CISO ou toute autre personne impliquée dans la sécurité, nous pouvons aider votre organisation à réduire les risques associés à un code non sécurisé.
Voir le rapportRéservez une démonstrationComment les assistants de codage de l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même ! Cette mission révèle l'interface familière d'un LLM populaire et utilise un extrait de code réel généré à la fin du mois de novembre 2023. Les utilisateurs peuvent interpréter ce bout de code et étudier les éventuels problèmes de sécurité s'il était utilisé dans le but prévu.
Essayez la missionLaura Verheyde est développeuse de logiciels à l'adresse Secure Code Warrior . Elle se consacre à la recherche de vulnérabilités et à la création de contenu pour Missions et Coding labs.
Où que vous regardiez, la technologie de l'IA fait l'objet d'une fixation constante dans presque tous les secteurs verticaux. Louée par certains comme la réponse à la création rapide de fonctionnalités dans le développement de logiciels, les gains de vitesse ont un prix : le potentiel de bogues de sécurité graves se frayant un chemin dans les bases de code, grâce à un manque de conscience contextuelle de l'outil lui-même, et des compétences de sécurité de bas niveau des développeurs qui comptent sur eux pour stimuler la productivité et générer des réponses à des scénarios de développement difficiles.
La technologie du grand modèle de langage (LLM) représente un changement radical dans les outils d'assistance et, si elle est utilisée de manière sûre, elle pourrait bien être le compagnon de programmation en binôme que tant d'ingénieurs en logiciel appellent de leurs vœux. Une étude réalisée en 2023 par l'université de Stanford a révélé que l'utilisation d'assistants d'intelligence artificielle était susceptible d'engendrer un code plus bogué et moins sûr dans l'ensemble, tout en augmentant la confiance dans la sécurité des résultats.
S'il est légitime de penser que les outils continueront à s'améliorer au fur et à mesure que la course à la perfection de la technologie LLM se poursuit, un ensemble de recommandations - dont un nouveau décret de l'administration Biden, ainsi que la loi sur l'intelligence artificielle de l'UE - rend leur utilisation délicate en tout état de cause. Les développeurs peuvent prendre une longueur d'avance en perfectionnant leurs compétences en matière de sécurité au niveau du code, leur sensibilisation et leur esprit critique à l'égard des résultats des outils d'IA, et devenir ainsi des ingénieurs de plus haut niveau.
Comment les assistants de codage de l'IA introduisent-ils des vulnérabilités ? Jouez à notre NOUVELLE mission publique et voyez par vous-même !
Exemple : Scripting intersite (XSS) dans "ChatterGPT".
Notre nouvelle mission publique révèle l'interface familière d'un LLM populaire et utilise un extrait de code réel généré à la fin du mois de novembre 2023. Les utilisateurs peuvent interpréter ce bout de code et étudier les éventuels problèmes de sécurité s'il devait être utilisé dans le but prévu.
À la question "Pouvez-vous écrire une fonction JavaScript qui modifie le contenu de l'élément HTML p, dont le contenu est transmis par cette fonction ?", l'assistant d'IA produit consciencieusement un bloc de code, mais tout n'est pas ce qu'il semble être.
Avez-vous déjà relevé le défi ? Si ce n'est pas le cas, essayez maintenant avant de lire la suite.
... ok, maintenant que vous l'avez terminé, vous savez que le code en question est vulnérable au cross-site scripting (XSS).
Le XSS est rendu possible par la manipulation de la fonctionnalité de base des navigateurs web. Il peut se produire lorsque des données non fiables sont affichées sur une page, mais interprétées à tort comme du code exécutable et sûr. Un pirate peut placer un extrait malveillant (balises HTML, JavaScript, etc.) dans un paramètre d'entrée, qui, lorsqu'il est renvoyé au navigateur, est alors exécuté au lieu d'être affiché en tant que données.
Utiliser des assistants de codage IA en toute sécurité dans le développement de logiciels
Une récente enquête menée auprès d'équipes de développement en activité a révélé que la quasi-totalité d'entre elles - soit 96 % - ont commencé à utiliser des assistants d'IA dans leur flux de travail, 80 % d'entre elles contournant même les politiques de sécurité pour les conserver dans leur boîte à outils. En outre, plus de la moitié d'entre elles reconnaissent que les outils d'IA générative créent couramment du code non sécurisé, mais cela n'a manifestement pas ralenti l'adoption de ces outils.
Avec cette nouvelle ère de processus de développement de logiciels, décourager ou interdire l'utilisation de ces outils a peu de chances de fonctionner. Au contraire, les organisations doivent permettre à leurs équipes de développement d'utiliser les gains d'efficacité et de productivité sans sacrifier la sécurité ou la qualité du code. Pour ce faire, il faut les former avec précision aux meilleures pratiques de codage sécurisé et leur donner la possibilité de développer leur esprit critique, en veillant à ce qu'ils agissent avec un état d'esprit axé sur la sécurité, en particulier lorsqu'ils évaluent la menace potentielle que représente le code produit par l'assistant d'IA.
Pour en savoir plus
Pour les XSS en général, consultez notre guide complet.
Vous voulez en savoir plus sur la manière d'écrire du code sécurisé et de réduire les risques? Essayez gratuitement notre défi d'injection XSS.
Si vous souhaitez obtenir d'autres directives de codage gratuites, consultez Secure Code Coach pour vous aider à rester au fait des meilleures pratiques en matière de codage sécurisé.
Table des matières
Secure Code Warrior est là pour vous aider à sécuriser le code tout au long du cycle de vie du développement logiciel et à créer une culture dans laquelle la cybersécurité est une priorité. Que vous soyez responsable AppSec, développeur, CISO ou toute autre personne impliquée dans la sécurité, nous pouvons aider votre organisation à réduire les risques associés à un code non sécurisé.
Réservez une démonstrationTéléchargerRessources pour vous aider à démarrer
La puissance d'OpenText Fortify + Secure Code Warrior
OpenText Fortify et Secure Code Warrior unissent leurs forces pour aider les entreprises à réduire les risques, à transformer les développeurs en champions de la sécurité et à renforcer la confiance des clients. Pour en savoir plus, cliquez ici.
Évaluation comparative des compétences en matière de sécurité : Rationalisation de la conception sécurisée dans l'entreprise
Le mouvement "Secure-by-Design" (conception sécurisée) est l'avenir du développement de logiciels sécurisés. Découvrez les éléments clés que les entreprises doivent garder à l'esprit lorsqu'elles envisagent une initiative de conception sécurisée.
Ressources pour vous aider à démarrer
10 prédictions clés : Secure Code Warrior sur l'influence de l'IA et de la conception sécurisée en 2025
Les organisations sont confrontées à des décisions difficiles sur l'utilisation de l'IA pour soutenir la productivité à long terme, la durabilité et le retour sur investissement de la sécurité. Au cours des dernières années, il nous est apparu clairement que l'IA ne remplacera jamais complètement le rôle du développeur. Des partenariats IA + développeurs aux pressions croissantes (et à la confusion) autour des attentes en matière de conception sécurisée, examinons de plus près ce à quoi nous pouvons nous attendre au cours de l'année prochaine.
OWASP Top 10 pour les applications LLM : Ce qui est nouveau, ce qui a changé et comment rester en sécurité
Gardez une longueur d'avance dans la sécurisation des applications LLM avec les dernières mises à jour du Top 10 de l'OWASP. Découvrez ce qui est nouveau, ce qui a changé et comment Secure Code Warrior vous fournit des ressources d'apprentissage actualisées pour atténuer les risques dans l'IA générative.
La note de confiance révèle la valeur des initiatives d'amélioration de la sécurité par la conception
Nos recherches ont montré que la formation au code sécurisé fonctionne. Le Trust Score, qui utilise un algorithme s'appuyant sur plus de 20 millions de points de données d'apprentissage issus du travail de plus de 250 000 apprenants dans plus de 600 organisations, révèle son efficacité à réduire les vulnérabilités et la manière de rendre l'initiative encore plus efficace.
Sécurité réactive contre sécurité préventive : La prévention est un meilleur remède
L'idée d'apporter une sécurité préventive aux codes et systèmes existants en même temps qu'aux applications plus récentes peut sembler décourageante, mais une approche "Secure-by-Design", mise en œuvre en améliorant les compétences des développeurs, permet d'appliquer les meilleures pratiques de sécurité à ces systèmes. C'est la meilleure chance qu'ont de nombreuses organisations d'améliorer leur sécurité.