
Análisis profundo: cómo explorar las vulnerabilidades generadas por los asistentes de codificación de IA
No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.
La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.
Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.
¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'
Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.
Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.
¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.
... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).
XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.
Uso seguro de asistentes de codificación de IA en el desarrollo de software
UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.
Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.
Lectura adicional
Para XSS en general, consulta nuestra guía completa.
¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.
Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.
.avif)
Explore los riesgos de seguridad de la IA en el desarrollo de software y aprenda a superar estos desafíos de manera efectiva con Secure Code Warrior.

Secure Code Warrior là pour aider votre organisation à protéger le code tout au long du cycle de vie du développement logiciel et à créer une culture où la cybersécurité est une priorité. Que vous soyez administrateur AppSec, développeur, CISO ou toute autre personne impliquée dans la sécurité, nous pouvons aider votre organisation à réduire les risques associés à un code non sécurisé.
Veuillez réserver une démonstration.Laura Verheyde est développeuse de logiciels à l'adresse Secure Code Warrior . Elle se consacre à la recherche de vulnérabilités et à la création de contenu pour Missions et Coding labs.
No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.
La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.
Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.
¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'
Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.
Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.
¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.
... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).
XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.
Uso seguro de asistentes de codificación de IA en el desarrollo de software
UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.
Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.
Lectura adicional
Para XSS en general, consulta nuestra guía completa.
¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.
Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.
.avif)
No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.
La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.
Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.
¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'
Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.
Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.
¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.
... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).
XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.
Uso seguro de asistentes de codificación de IA en el desarrollo de software
UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.
Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.
Lectura adicional
Para XSS en general, consulta nuestra guía completa.
¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.
Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.
.avif)

Veuillez cliquer sur le lien ci-dessous et télécharger le PDF de cette ressource.
Secure Code Warrior là pour aider votre organisation à protéger le code tout au long du cycle de vie du développement logiciel et à créer une culture où la cybersécurité est une priorité. Que vous soyez administrateur AppSec, développeur, CISO ou toute autre personne impliquée dans la sécurité, nous pouvons aider votre organisation à réduire les risques associés à un code non sécurisé.
Veuillez consulter le rapportVeuillez réserver une démonstration.
¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? ¡Juega nuestra NUEVA misión pública y compruébalo por ti mismo! Esta misión revela la conocida interfaz de un popular LLM y utiliza un fragmento de código real generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.
Test the missionLaura Verheyde est développeuse de logiciels à l'adresse Secure Code Warrior . Elle se consacre à la recherche de vulnérabilités et à la création de contenu pour Missions et Coding labs.
No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.
La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.
Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.
¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'
Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.
Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.
¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.
... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).
XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.
Uso seguro de asistentes de codificación de IA en el desarrollo de software
UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.
Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.
Lectura adicional
Para XSS en general, consulta nuestra guía completa.
¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.
Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.
.avif)
Table des matières

Secure Code Warrior là pour aider votre organisation à protéger le code tout au long du cycle de vie du développement logiciel et à créer une culture où la cybersécurité est une priorité. Que vous soyez administrateur AppSec, développeur, CISO ou toute autre personne impliquée dans la sécurité, nous pouvons aider votre organisation à réduire les risques associés à un code non sécurisé.
Veuillez réserver une démonstration.TéléchargerRessources pour débuter
Thèmes et contenu de la formation sur le code sécurisé
Notre contenu de pointe évolue constamment afin de s'adapter au paysage changeant du développement logiciel, en tenant compte de votre rôle. Nous proposons des thèmes allant de l'IA à l'injection XQuery pour différents postes, des architectes et ingénieurs aux chefs de produit et responsables de l'assurance qualité. Découvrez un aperçu de ce que notre catalogue de contenu a à offrir par thème et par fonction.
La Chambre de commerce établit la norme en matière de sécurité à grande échelle axée sur les développeurs
La Chambre de commerce néerlandaise explique comment elle a intégré le codage sécurisé dans le développement quotidien grâce à des certifications basées sur les rôles, à l'évaluation comparative du Trust Score et à une culture de responsabilité partagée en matière de sécurité.
Modélisation des menaces avec l'IA : transformer chaque développeur en modélisateur de menaces
Vous repartirez mieux équipé pour aider les développeurs à combiner les idées et les techniques de modélisation des menaces avec les outils d'IA qu'ils utilisent déjà pour renforcer la sécurité, améliorer la collaboration et créer des logiciels plus résilients dès le départ.
Ressources pour débuter
Cybermon est de retour : les missions IA de Beat the Boss sont désormais disponibles à la demande.
Cybermon 2025 Beat the Boss est désormais disponible toute l'année chez SCW. Mettez en œuvre des défis de sécurité avancés basés sur l'IA et le LLM afin de renforcer le développement sécurisé de l'IA à grande échelle.
Explication de la loi sur la cyber-résilience : implications pour le développement de logiciels sécurisés dès leur conception
Découvrez les exigences de la loi européenne sur la cyber-résilience (CRA), à qui elle s'applique et comment les équipes d'ingénierie peuvent se préparer grâce à des pratiques de conception sécurisées, à la prévention des vulnérabilités et au développement des compétences des développeurs.
Facilitateur 1 : Critères de réussite définis et mesurables
Le catalyseur n° 1 inaugure notre série en 10 parties intitulée « Les catalyseurs de la réussite », qui montre comment relier la codification sécurisée aux résultats commerciaux, tels que la réduction des risques et la rapidité d'atteinte de la maturité du programme à long terme.



%20(1).avif)
.avif)
