Récupérer la pensée critique dans le développement de logiciels sécurisés assistés par l'IA

Une version de cet article a été publiée dans Cybersecurity Insiders. Elle a été mise à jour et publiée ici.

‍

L'adoption d'assistants d'intelligence artificielle, allant des créateurs de code de type Large Language Model (LLM) aux agents d'intelligence artificielle sophistiqués, offre aux développeurs de logiciels une multitude d'avantages. Cependant, de récentes découvertes, soulignées par une nouvelle étude du MIT, lancent un avertissement : une forte dépendance à l'égard de l'IA pourrait conduire les utilisateurs à perdre leurs compétences en matière de pensée critique.

Dans un paysage logiciel où les risques de sécurité liés à l'IA ont augmenté au même rythme que l'adoption de l'IA, cette perte de capacité cognitive pourrait en effet conduire à des résultats catastrophiques. Les développeurs et les organisations doivent impérativement, d'un point de vue éthique, identifier, comprendre et atténuer de manière proactive les vulnérabilités en matière de sécurité dès le début du cycle de développement logiciel (SDLC). Ceux qui négligent ce devoir, ce qui, de manière alarmante, est le cas de nombreuses organisations aujourd'hui, sont confrontés à une augmentation tout aussi importante des menaces potentielles pour la sécurité, dont certaines sont directement imputables à l'IA.

Le débat n'est pas de savoir s'il faut utiliser l'IA, car les avantages en termes de productivité et d'efficacité sont trop importants pour être écartés. La vraie question est plutôt de savoir comment l'appliquer le plus efficacement possible : préserver la sécurité tout en maximisant la croissance de la production. La meilleure façon d'y parvenir est de faire appel à des développeurs compétents en matière de sécurité, qui comprennent parfaitement leur code, quelle que soit son origine.

La dépendance excessive à l'égard de l'IA risque d'entraîner un déclin cognitif

L'étude du Media Lab du MIT, publiée début juin, a testé les fonctions cognitives de 54 étudiants de cinq universités de la région de Boston pendant qu'ils rédigeaient un essai. Les étudiants ont été divisés en trois groupes : ceux qui utilisaient un grand modèle linguistique (LLM), ceux qui utilisaient des moteurs de recherche et ceux qui utilisaient la méthode traditionnelle sans aucune aide extérieure. L'équipe de recherche a utilisé l'électroencéphalographie (EEG) pour enregistrer l'activité cérébrale des participants et évaluer l'engagement et la charge cognitifs. L'équipe a constaté que le groupe de la vieille école, "cerveau seul", présentait l'activité neuronale la plus forte et la plus étendue, tandis que ceux qui utilisaient des moteurs de recherche présentaient une activité modérée et que ceux qui utilisaient un LLM (dans ce cas, le ChatGPT-4 d'OpenAI) présentaient le niveau d'activité cérébrale le plus faible.

Cela n'est pas particulièrement surprenant : après tout, lorsque vous demandez à un outil de réfléchir à votre place, vous réfléchissez moins. Cependant, l'étude a également révélé que les utilisateurs de LLM avaient un lien plus faible avec leurs documents : 83 % des étudiants ont eu du mal à se souvenir du contenu de leurs essais, même quelques minutes après les avoir terminés, et aucun des participants n'a pu fournir de citations exactes. Le sentiment d'appartenance à l'auteur était absent par rapport aux autres groupes. Les participants "cerveau seul" avaient non seulement le sentiment d'appartenance le plus élevé et présentaient le plus large éventail d'activités cérébrales, mais ils ont également produit les articles les plus originaux. Les résultats du groupe LLM étaient plus homogènes et, en fait, ont été facilement identifiés par les juges comme étant le travail de l'IA.

Du point de vue des développeurs, le principal résultat est la diminution de la pensée critique résultant de l'utilisation de l'IA. Un seul cas d'utilisation de l'IA peut ne pas entraîner la perte de compétences essentielles en matière de réflexion, bien sûr, mais une utilisation constante au fil du temps peut entraîner l'atrophie de ces compétences. L'étude propose un moyen de préserver l'esprit critique lors de l'utilisation de l'IA - en faisant en sorte que l'IA aide l'utilisateur plutôt que l'utilisateur aide l'IA - mais il faut surtout veiller à ce que les développeurs possèdent les compétences en matière de sécurité dont ils ont besoin pour créer des logiciels sûrs et à ce qu'ils utilisent ces compétences dans le cadre de leurs activités professionnelles habituelles et essentielles.

Formation des développeurs : Essentielle pour l'écosystème piloté par l'IA

Une étude comme celle du MIT ne va pas arrêter l'adoption de l'IA, qui progresse dans tous les secteurs. Le rapport 2025 AI Index Report de l'université de Stanford a révélé que 78 % des organisations déclaraient utiliser l'IA en 2024, contre 55 % en 2023. Ce type de croissance devrait se poursuivre. Mais l'augmentation de l'utilisation de l'IA s'accompagne d'une augmentation des risques : Le rapport a révélé que les incidents de cybersécurité liés à l'IA ont augmenté de 56 % au cours de la même période. 

Le rapport de Stanford souligne le besoin vital d'améliorer la gouvernance de l'IA, car il a également révélé que les organisations sont laxistes dans la mise en œuvre des garanties de sécurité. Bien que pratiquement toutes les organisations reconnaissent les risques de l'IA, moins de deux tiers d'entre elles font quelque chose à ce sujet, ce qui les rend vulnérables à une foule de menaces de cybersécurité et potentiellement en violation des exigences de plus en plus strictes en matière de conformité réglementaire.

Si la réponse n'est pas de cesser d'utiliser l'IA (ce que personne ne fera), elle doit être d'utiliser l'IA de manière plus sûre et plus sécurisée. L'étude du MIT offre un indice utile sur la manière de procéder. Lors d'une quatrième session de l'étude, les chercheurs ont divisé les utilisateurs de LLM en deux groupes : ceux qui ont commencé la rédaction par eux-mêmes avant de demander de l'aide à ChatGPT, connu dans l'étude comme le groupe Brain-to-LLM, et ceux qui ont demandé à ChatGPT de rédiger un premier projet avant de lui accorder leur attention personnelle, connu comme le groupe LLM-to-Brain. Le groupe Brain-to-LLM, qui a utilisé des outils d'intelligence artificielle pour l'aider à réécrire une rédaction déjà rédigée, a fait preuve d'une meilleure mémorisation et d'une plus grande activité cérébrale, certaines zones étant similaires à celles des utilisateurs de moteurs de recherche. Le groupe LLM-to-Brain, qui a permis à l'IA d'initier la rédaction, a montré une activité neuronale moins coordonnée et une tendance à utiliser le vocabulaire LLM.

L'approche "Brain-to-LLM" peut aider les utilisateurs à garder leur cerveau un peu plus vif, mais les développeurs ont également besoin de connaissances spécifiques pour écrire des logiciels en toute sécurité et pour évaluer de manière critique le code généré par l'IA afin d'y déceler des erreurs et des risques de sécurité. Ils doivent comprendre les limites de l'IA, notamment sa propension à introduire des failles de sécurité telles que les vulnérabilités aux attaques par injection.

Pour ce faire, il est nécessaire de revoir les programmes de sécurité des entreprises afin de garantir un SDLC centré sur l'humain, dans lequel les développeurs bénéficient d'un perfectionnement efficace, flexible, pratique et continu dans le cadre d'une culture de la sécurité qui s'étend à l'ensemble de l'entreprise. Les développeurs doivent continuellement améliorer leurs compétences pour rester au fait des menaces sophistiquées qui évoluent rapidement, en particulier celles qui découlent du rôle prépondérant de l'IA dans le développement de logiciels. Cela permet de se prémunir, par exemple, contre les attaques par injection rapide de plus en plus courantes. Mais pour que cette protection fonctionne, les organisations ont besoin d'une initiative menée par les développeurs pour se concentrer sur les modèles de conception sécurisés et la modélisation des menaces.

Conclusion

Lorsque les LLM ou les agents agentiques font le gros du travail, les utilisateurs deviennent des spectateurs passifs. Selon les auteurs de l'étude, cela peut conduire à "un affaiblissement des capacités de réflexion critique, à une compréhension moins profonde des documents et à une moins bonne formation de la mémoire à long terme". Un niveau d'engagement cognitif plus faible peut également entraîner une diminution des capacités de prise de décision. 

Les organisations ne peuvent pas se permettre un manque d'esprit critique en matière de cybersécurité. Et comme les failles logicielles dans les environnements hautement distribués et basés sur le cloud sont devenues la principale cible des cyberattaquants, la cybersécurité commence par la garantie d'un code sécurisé, qu'il soit créé par des développeurs, des assistants d'IA ou des agents agentiques. Malgré toute la puissance de l'IA, les organisations ont plus que jamais besoin de compétences très pointues en matière de résolution de problèmes et de réflexion critique. Et cela ne peut pas être externalisé à l'IA.

Les nouvelles capacités d'IA de SCW Trust Agent offrent l'observabilité et le contrôle approfondis dont vous avez besoin pour gérer en toute confiance l'adoption de l'IA dans votre SDLC sans sacrifier la sécurité. Pour en savoir plus.