LLM : une approche (im)parfaitement humaine pour une programmation sécurisée ?

Eine Version dieses Artikels erschien in Dunkle Lektüre. Es wurde hier aktualisiert und syndiziert.

‍

Seit dem ersten Hype um die neuesten, kulturerschütternden KI-Tools haben Entwickler und Programmierer sie gleichermaßen verwendet, um Code auf Knopfdruck zu generieren. Sicherheitsexperten wiesen schnell darauf hin, dass der erzeugte Code in vielen Fällen schlechte Qualität und anfälligund könnte in den Händen von Personen mit geringem Sicherheitsbewusstsein zu einer Lawine unsicherer Apps und Webentwicklung führen, die ahnungslose Verbraucher trifft.

Und dann gibt es diejenigen, die genug Sicherheitswissen haben, um es für, naja, das Böse zu nutzen. Für jede überwältigende KI-Leistung scheint es einen Gegenschlag zu geben, bei dem dieselbe Technologie eingesetzt wird schändliche Zwecke. Phishing, gefälschte Betrugsvideos, Malware-Erstellung, allgemeine Script-Kiddie-Spielereien... diese störenden Aktivitäten sind viel schneller und mit niedrigeren Eintrittsbarrieren realisierbar.

Es gibt sicherlich eine Menge Clickbait, die dieses Tool als revolutionär anpreisen oder sich zumindest durchsetzen, wenn es mit „durchschnittlichen“ menschlichen Fähigkeiten verglichen wird. Es scheint zwar unvermeidlich, dass KI-Technologie im LLM-Stil die Art und Weise verändern wird, wie wir an viele Aspekte der Arbeit herangehen — nicht nur an die Softwareentwicklung —, aber wir müssen einen Schritt zurücktreten und die Risiken berücksichtigen, die hinter den Schlagzeilen liegen.

Und als Begleiter beim Programmieren sind seine Fehler vielleicht das „menschlichste“ Merkmal.

Schlechte Codierungsmuster dominieren seine bevorzugten Lösungen

Da ChatGPT auf jahrzehntelangen Code- und Wissensdatenbanken trainiert wurde, ist es keine Überraschung, dass auch ChatGPT trotz all seiner Wunder und Geheimnisse unter den gleichen häufigen Fallstricken leidet, mit denen Menschen beim Navigieren im Code konfrontiert sind. Schlechte Codierungsmuster sind die erste Wahl, und es bedarf immer noch eines sicherheitsbewussten Treibers, um sichere Codierungsbeispiele zu generieren, indem er die richtigen Fragen stellt und die richtige schnelle technische Umsetzung liefert.

Selbst dann gibt es keine Garantie dafür, dass die angegebenen Codeschnipsel aus Sicherheitsgründen korrekt und funktionsfähig sind; die Technologie neigt sogar zu Halluzinationen Erstellung nicht existierender Bibliotheken wenn er gebeten wird, bestimmte JSON-Operationen auszuführen, wie von Mike Shema entdeckt. Dies könnte zu einer „Halluzination“ der Bedrohungsakteure führen, die nur allzu gerne Malware entwickeln würden, getarnt als die fabrizierte Bibliothek, die mit vollem Vertrauen von ChatGPT empfohlen wird.

Letztlich müssen wir uns der Realität stellen, dass wir im Allgemeinen nicht erwartet haben, dass Entwickler ausreichend sicherheitsbewusst sind, und dass wir sie als Branche auch nicht angemessen darauf vorbereitet haben, sicheren Code als Standardzustand zu schreiben. Dies wird sich in der enormen Menge an Trainingsdaten zeigen, die in ChatGPT eingespeist werden, und wir können zumindest anfänglich mit ähnlich schwachen Sicherheitsergebnissen rechnen. Entwickler müssten in der Lage sein, die Sicherheitslücken zu identifizieren und sie entweder selbst zu beheben oder bessere Eingabeaufforderungen zu entwerfen, um ein robusteres Ergebnis zu erzielen.

Der erste groß angelegte Nutzerstudie Die Untersuchung, wie Benutzer mit einem KI-Programmierassistenten interagieren, um eine Vielzahl von sicherheitsrelevanten Funktionen zu lösen — durchgeführt von Forschern der Stanford University — unterstützt diese Annahme, wobei eine Beobachtung zu dem Schluss kommt:

“Wir beobachteten, dass Teilnehmer, die Zugriff auf den KI-Assistenten hatten, bei den meisten Programmieraufgaben mit größerer Wahrscheinlichkeit Sicherheitslücken einführten, ihre unsicheren Antworten jedoch auch eher als sicher einstuften als diejenigen in unserer Kontrollgruppe..“

Dies spricht für ein gewisses Maß an Vertrauen in die Ergebnisse von KI-Codierungstools, da sie Code produzieren, der immer inhärent sicher ist, obwohl dies in Wirklichkeit nicht der Fall ist.

Angesichts dessen und der unvermeidlichen KI-gestützten Bedrohungen, die unsere Zukunft durchdringen werden, müssen Entwickler heute mehr denn je ihre Sicherheitsfähigkeiten verbessern und die Messlatte für die Codequalität höher legen, unabhängig von ihrer Herkunft.

Der Weg zu einer Datenschutzverletzung ist mit guten Vorsätzen gepflastert

Es sollte nicht überraschen, dass KI-Programmierbegleiter beliebt sind, zumal Entwickler mit zunehmender Verantwortung und immer engeren Fristen konfrontiert sind und die Ambitionen der Innovation eines Unternehmens auf ihren Schultern ruhen. Doch selbst mit den besten Absichten führt ein Mangel an umsetzbarem Sicherheitsbewusstsein beim Einsatz von KI zum Programmieren unweigerlich zu eklatanten Sicherheitsproblemen. Alle Entwickler mit KI/ML-Tools werden mehr Code generieren, und das Ausmaß des Sicherheitsrisikos hängt von ihrem Qualifikationsniveau ab. Unternehmen müssen sich darüber im Klaren sein, dass ungeschulte Mitarbeiter sicherlich schneller Code generieren, aber auch die Geschwindigkeit, mit der sie technische Sicherheitsschulden eingehen, erhöhen werden.

Sogar unser vorläufiger Test (April 2023) mit ChatGPT hat ergeben, dass es zu sehr grundlegenden Fehlern kommen wird, die verheerende Folgen haben könnten. Als wir es baten, eine Login-Routine in PHP mithilfe einer MySQL-Datenbank zu erstellen, wurde schnell funktionaler Code generiert. Es speicherte jedoch standardmäßig Passwörter im Klartext in einer Datenbank, speicherte die Anmeldeinformationen für die Datenbankverbindung im Code und verwendete ein Codierungsmuster, das zu einer SQL-Injektion führen konnte (obwohl es die Eingabeparameter bis zu einem gewissen Grad filterte und Datenbankfehler ausspuckte). Alles Anfängerfehler, egal in welcher Hinsicht:
‍

‍
Durch weitere Eingabeaufforderungen wurde sichergestellt, dass die Fehler behoben wurden, aber für die Kurskorrektur sind umfangreiche Sicherheitskenntnisse erforderlich. Ein unkontrollierter und weit verbreiteter Einsatz dieser Tools ist nicht besser, als Nachwuchsentwickler für Ihre Projekte zu gewinnen. Und wenn dieser Code sensible Infrastrukturen aufbaut oder personenbezogene Daten verarbeitet, haben wir es mit einer tickenden Zeitbombe zu tun.

Natürlich gehen wir davon aus, dass sich die KI/ML-Fähigkeiten verbessern werden, genau wie junge Entwickler ihre Fähigkeiten im Laufe der Zeit zweifellos verbessern werden. In einem Jahr wird es vielleicht nicht mehr so offensichtliche und einfache Sicherheitsfehler machen. Dies wird jedoch dazu führen, dass das Sicherheitswissen, das erforderlich ist, um die schwerwiegenderen, versteckten, nicht trivialen Sicherheitsfehler aufzuspüren, die immer noch zu verursachen drohen, drastisch erweitert werden.

Wir sind nach wie vor schlecht darauf vorbereitet, Sicherheitslücken zu finden und zu beheben, und KI vergrößert die Lücke

Zwar ist zu diesem Zeitpunkt seit vielen Jahren viel von einem „Linksruck“ die Rede, doch Tatsache ist, dass in den meisten Unternehmen in der Entwicklungskohorte ein erheblicher Mangel an praktischem Sicherheitswissen besteht, und wir müssen härter daran arbeiten, ihnen die richtigen Tools und Schulungen zur Verfügung zu stellen, die ihnen auf ihrem Weg helfen.

So wie es aussieht, sind wir nicht auf die Sicherheitslücken vorbereitet, an die wir gewöhnt sind, ganz zu schweigen von den neuen KI-bedingten Problemen wie Prompt Injection und Halluzination Squatting, die völlig neue Angriffsvektoren darstellen, die wie ein Lauffeuer abheben werden. KI-Programmierwerkzeuge stellen zwar die Zukunft des Programmierwaffenarsenals von Entwicklern dar, aber die Ausbildung zum sicheren Umgang mit diesen Produktivitätswaffen muss jetzt erfolgen.

‍