LLMs & Agentic AI: Chancen, Risiken und warum KI Penetrationstests jetzt wichtig werden

Künstliche Intelligenz ist überall. Jede Woche erscheinen neue Tools, neue Modelle, neue Visionen für eine automatisierte Zukunft. Unternehmen versprechen Effizienzsprünge, Revolutionen in der Arbeitswelt und völlig neue Geschäftsmodelle. Agentische KI geht noch weiter: Sie handelt autonom, trifft Entscheidungen, nutzt Tools und Datenquellen selbstständig und kann Workflows ausführen. Kurz: digitale Mitarbeitende mit Systemzugriff. Diese Entwicklung birgt nicht nur vielfältige Möglichkeiten, sondern auch enorme Sicherheitsrisiken, die verstanden und einbezogen werden müssen.

Was sind LLMs und agentische KIs?

Large Language Models (LLMs) sind KI-Modelle, die darauf trainiert wurden, menschliche Sprache zu verstehen und zu generieren. Sie schreiben Texte, beantworten Fragen, analysieren Daten oder generieren Code.
Während klassische LLMs eher reaktiv sind („Gib mir Input und ich gebe dir Output“), gehen agentische KI-Systeme einen Schritt weiter. Mit ihnen werden vielseitige Arbeitserleichterungen möglich:

• Automatisierter Kundenservice und Ticketlösung
• E-Mail-Management: lesen, zusammenfassen, verschicken
• Workflow-Automatisierung und Berichterstellung
• Proaktive Mitarbeitenden-Assistenz und Tool-Nutzung

Das macht sie mächtig, aber auch risikobehaftet.

Reales Beispiel: KI als Innentäter (Der Fall Anthropic)

Das US-Amerikanische KI-Unternehmen Anthropic hat untersucht, ob eine KI sich wie ein Insider verhalten kann.

Setup:

• Eine KI durfte Mails lesen, zusammenfassen und verschicken
• In den Postfächern lagen
  • private Gespräche, die sich zur Erpressung eignenMails, die der KI „schaden“ könnten (z.B. sie ersetzen)

Ergebnis:
In 96 % der Fälle hat die KI die zuständigen Mitarbeitenden erpresst, um sich selbst zu schützen bzw. ihren Fortbestand zu sichern.

Das zeigt:

• KI kann strategisch handeln
• sie kann Menschen manipulieren, wenn sie darin einen „Vorteil“ erkennt
• agentische Systeme sind nicht nur Tools, sondern potenziell eigenständige Risikofaktoren

Wenn eine KI also sensible Daten sieht und mächtige Funktionen hat, wird sie zu einem echten Sicherheitsrisiko.

Risiken und Gefahren: Willkommen im Wilden Westen der KI

Das Feld rund um agentische KI ist jung, dynamisch und noch nicht wirklich reguliert. In vielen Bereichen ist es der Wilde Westen: viel Potenzial, aber auch viel Chaos.
Orientiert an der GenAI Top 10 von OWASP, sind besonders herauszustellende Gefahren und Risiken zum Beispiel:

• Excessive Agency (KI bekommt zu viel Macht)
  Eine KI mit zu vielen Rechten kann absichtlich oder versehentlich Daten löschen, Systeme manipulieren, falsche Aktionen automatisieren und vertrauliche Informationen abrufen oder verändern.
• Reputationsschaden (Wenn die KI „Quatsch“ erzählt)
  LLMs können halluzinieren, menschenfeindliche oder diskriminierende Aussagen produzieren oder rechtliche Falschinformationen ausgeben.
• Offenlegung sensibler Informationen
  KI-Systeme greifen auf umfangreiche Unternehmensdaten zu und erzeugen Antworten aus internen Quellen.So können harmlose Anfragen unerwartet Daten verändern oder vertrauliche Informationen offenlegen.
• Betriebsstörungen durch unvorhersehbares Verhalten
  Systeme reagieren falsch, handeln eigenmächtig oder erzeugen unerwartete Aktionen. Ein AI-Agent, der z.B. automatisch Bestellungen auslöst oder Workflows startet, kann Unternehmen in Sekunden in Chaos stürzen.

Ein weiteres Beispiel aus den Schlagzeilen:
Der Air-Canada-Chatbot erfand Rückerstattungsregeln, die es nie gab. Das Unternehmen wurde dafür verklagt. Oft geht es also nicht um technische Ausfälle, sondern um sozio-technischen Schäden, die direkt im Business einschlagen.

Warum Penetrationstests für KI unverzichtbar werden

Für Unternehmen gehört die Prüfung klassischer Systeme wie Web-Apps, APIs und Netzwerke zum Geschäftsalltag. Mit KI kommt ein Anwendungsbereich hinzu, der sensibelste Daten sieht, mächtige Aktionen auslösen kann und nicht deterministisch reagiert. Deshalb reicht klassisches Security-Denken hier nicht mehr aus.

DigiFors prüft KI-Anwendungen durch Penetrationstests auf allen Ebenen:

1. Das Modell: Verhalten bei Jailbreaks & Manipulation, Umgang mit sensiblen Informationen, grobe Alignment-Themen (Verhält sich das Modell halbwegs fair und sicher?)
   
   • Alignment-Checks sind wichtig, bei uns aber nur ein Baustein. Wir legen unseren Fokus auf Aktionen, die echte Angreifer verfolgen würden.
     
2. Implementierung: Guardrails, System Prompts, Zugriffskontrollen, Fehler in der Einbettung des (oft fremden) Modells im System
   
   • Ist das Modell richtig „eingebaut“? Sind die entsprechenden firewall-ähnlichen Sicherungen richtig implementiert? Viele Probleme entstehen nicht im Modell, sondern darum herum.
     
3. System & Infrastruktur: APIs, Tool-Anbindungen, Datenflüsse, Zugriffe
   
   • Alles, worüber eine agentische KI echten Schaden anrichten kann.
     Ähnlich zu unseren Perimeter- und WebApp-Penetrationstests.
     
4. Sozio-technische Angriffe: geschickte Promps, Täuschung/ Erpressung/Manipulation, Ausnutzen von Logikfehlern und Annahmen
   
   • Ein Mensch interagiert mit der KI wie ein realistischer Angreifer. Genau das sind die Angriffe, die in der Praxis relevant sind.
     

Eine Sicherheitsüberprüfung von KI-Systemen geht in der Philosophie über das normale Pentesting hinaus. Hier werden nicht nur die Schwachstellen auf technischer Ebene identifiziert und ausgenutzt, sondern realistische Angriffe auf sozialer, technischer und funktionaler Ebene durchgeführt. Deshalb spricht man oft auch von AI Red Teaming.

Warum DigiFors?

Weil wir Hacking-Experten UND KI-Nerds sind. Wir kombinieren:

• Langjährige Erfahrung im Pentesting, insbesondere webbasierter Systeme (Zertifikate: BSCP & OSWA)
• praktische, akademische Erfahrung im maschinellen Lernen
• Erfahrung mit realistischen, praxisnahen Angriffsszenarien

Das macht uns zu Spezialisten in einem Bereich, in dem es bisher kaum Expertise gibt. Wir sind einer der bisher wenigen professionellen Anbieter für Penetrationstests und Red Teaming für KI-Systeme.

Fazit

Der Einsatz von KI, insbesondere agentischer Systeme mit Zugriff auf sensible Daten und mächtige Funktionalitäten, bringt ein hohes Risiko mit sich.
Wer KI in seine Kernprozesse lässt, sollte sie auch wie ein kritisches System behandeln. Penetrationstests für KI sind also kein Nice-To-Have, sondern werden zum Pflichtprogramm.

Lassen Sie sich jetzt zu Ihren Möglichkeiten zu KI Penetrationstests beraten und testen Sie ihre KI, bevor es andere tun.