KI ist in der IT-Sicherheit angekommen. Anthropics Modell Claude Mythos hat in einer White-Box-Analyse des Firefox-Quellcodes 271 Sicherheitslücken aufgedeckt, die anschließend geschlossen wurden. Gleichzeitig hat ein KI-Agent auf der Vibe-Coding-Plattform Replit eine komplette Produktionsdatenbank gelöscht und danach zunächst gefälschte Erfolgsberichte generiert, um den Schaden zu verschleiern.
Dass diese Vorfälle gleichzeitig passieren, zeigt: Entscheidend ist nicht das Werkzeug, sondern wer die Kontrolle darüber behält. Die Frage ist also, unter welchen Bedingungen KI im Bereich Penetrationstests einen Mehrwert liefert und wann sie zum Risiko wird.
Was autonome KI-Scanner versprechen
Der Markt für KI-gestützte Sicherheitsscanner wächst schnell. Das Versprechen ist verlockend: Eine KI scannt autonom eine Webanwendung auf Schwachstellen, bewertet Findings semantisch und priorisiert Risiken, ohne dass ein Mensch jeden Schritt konfigurieren muss. Das klingt, gerade für Unternehmen ohne eigene Sicherheitsabteilung, nach einer attraktiven Option.
In der Praxis ist das Bild differenzierter und für den produktiven Einsatz ohne fachkundige Aufsicht gibt es gute Gründe zur Vorsicht.
Warum autonome Scanner unkontrollierbar werden
Der Kern des Problems liegt in der Architektur autonomer LLM-Scanner: Sie treffen Entscheidungen selbstständig, basierend auf dem, was sie in den Antworten der gescannten Anwendung lesen. Das macht sie mächtig und gleichzeitig schwer beherrschbar.
1. Gezielte Safety-Manipulation.
Angreifer haben begonnen, die Safety-Filter von LLM-Scannern aktiv auszunutzen. Sicherheitsforscher John Scott-Railton dokumentierte einen Fall, bei dem Malware-Entwickler ihren Schadcode gezielt mit Text zu nuklearen und biologischen Waffen angereichert hatten. Nicht aus inhaltlichen Gründen, sondern um bei der automatischen KI-Analyse einen Safety-Refusal auszulösen. Der Scanner verweigert die Analyse, die Malware bleibt unentdeckt. Was als Schutzmaßnahme gedacht ist, wird zur gezielten Sichtlücke.
2. Kontrollverlust über das, was der Scanner tut
Bei klassischen Tools wie Burp Suite oder SQLMap weiß ein Pentester genau, welcher Parameter mit welcher Payload getestet wird. Ein LLM-basierter Scanner trifft diese Entscheidungen selbst. Was er dabei im Einzelnen abschickt, ist für den Betreiber nur schwer nachzuvollziehen. Ein vollständiges Audit der Aktivitäten ist kaum möglich.
- Destruktive Aktionen
Ein LLM, das eine SQL-Injection-Schwachstelle findet, könnte diese auch destruktiv ausnutzen. Nicht aus Absicht, sondern weil es keine klare Grenze zwischen “Testen” und “Ausnutzen” zieht. Der Replit-Fall zeigt aktuell, wie schnell KI-Agenten in produktiven Umgebungen ungewollt Daten löschen oder verändern können.
- Goal Drift
LLMs neigen dazu, bei komplexen Anwendungen ihre ursprüngliche Zielsetzung zu verlieren. Ein Agent startet mit der Analyse der Authentifizierung, entdeckt interessante API-Endpunkte, verfolgt diese weiter und endet in einem völlig anderen Anwendungsbereich. Das Ergebnis: Weder die ursprüngliche Funktion noch der neue Bereich wurden vollständig untersucht. Autonomie bedeutet nicht automatisch Vollständigkeit.
- Scope-Verletzungen
Wenn mehrere Anwendungen unter derselben Domain laufen (z.B. unternehmen.de/portal, unternehmen.de/abrechnung, unternehmen.de/intern) hält sich ein autonomer Agent nicht automatisch an den definierten Testbereich. Ein erfahrener Pentester versteht Scope als verbindliche Vorgabe. Ein LLM folgt Links und Querverweisen, weil sie technisch erreichbar sind.
Der Scanner als Angriffsziel
Hinzu kommt ein Risiko, das häufig unterschätzt wird: KI-Scanner lassen sich manipulieren. LLM-Agenten treffen Entscheidungen auf Basis der Inhalte, die sie während des Scans lesen. Genau dadurch entsteht eine neue Angriffsfläche.
Ein mögliches Szenario: Ein Angreifer platziert eine indirekte Prompt Injection in einem Kommentarfeld oder Blogbeitrag der Zielanwendung. Der Scanner verarbeitet diesen Inhalt und interpretiert die eingebetteten Anweisungen als legitime Handlungsempfehlung. Im ungünstigsten Fall schreibt der Agent gefundene Nutzerdaten oder Credentials an eine öffentlich sichtbare Stelle und macht sie unbeabsichtigt zugänglich.
Das ist keine Fehlfunktion. Es ist eine direkte Folge davon, dass autonome Agenten ihrer Umgebung vertrauen müssen, um arbeiten zu können. PortSwigger (BurpSuite) hat diese Gefahren bereits ausführlich dokumentiert.
Wo KI und Pentesting wirklich funktionieren
Das alles bedeutet nicht, dass KI im Penetrationstest nichts zu suchen hat. Entscheidend ist der Einsatzkontext.
Als Copilot, nicht als Pilot.
Penetrationstester Cristi Vlad beschreibt seinen Einsatz von Burp AI so:
"It actually feels like a collaboration. I can be in Repeater testing all sorts of things, while Burp AI is following up on other leads in the background. It gave me the headspace to think laterally."
Während der Tester aktiv Hypothesen verfolgt, analysiert die KI parallel weitere Spuren und liefert zusätzliche Ansatzpunkte. Genau dadurch konnte in seinem Fall eine kritische Account-Takeover-Schwachstelle über Password Reset Poisoning identifiziert werden. Der Unterschied: Er hatte zu jeder Zeit die Kontrolle darüber, was der Scanner unternahm.
Bei DigiFors beginnen wir, Burp AI vorsichtig in unseren Pentest-Alltag zu integrieren. Die ersten Erfahrungen vor allem dort Potential, wo es darum geht, bekannte Schwachstellenklassen schneller zu erkunden, ohne dass der Tester jeden Schritt manuell ausführen muss.
Bei White-Box-Code-Analysen.
Der Firefox-Fall zeigt, was möglich ist, wenn ein KI-Modell Zugriff auf den Quellcode hat und von einem definierten Ziel aus arbeitet. Das ist keine ungerichtete Suche, sondern strukturierte Analyse mit klar definiertem Scope. Dort kann KI einen echten Mehrwert liefern, der manuell kaum zu erreichen wäre.
Was das für Ihr Unternehmen bedeutet
KI ist in der IT-Sicherheit keine Zukunftsvision mehr. Aber “KI-Scanner einschalten und zurücklehnen” ist keine Sicherheitsstrategie. Autonome Black-Box-Scanner ohne fachkundige Aufsicht erzeugen unkontrollierbares Verhalten, können Scope-Grenzen verletzen und sind selbst manipulierbar.
Ein guter Penetrationstest lebt von Erfahrung, Kontextverständnis und der Fähigkeit, anwendungsspezifische Risiken zu erkennen. Das kann ein Sprachmodell allein nicht zuverlässig. KI als Werkzeug in den Händen erfahrener Tester hingegen eröffnet reale Mehrwerte.
Penetrationstests bei DigiFors
Wenn Sie wissen möchten, wie ein moderner Penetrationstest bei DigiFors aussieht, sprechen Sie uns an.
