Die deutlichsten Erkenntnisse über agentische KI lassen sich nicht aus ausgefeilten Demos gewinnen. Sie ergeben sich vielmehr aus der Beobachtung eines Systems, das in einer komplexen, mehrdeutigen und äußerst gnadenlosen Umgebung agiert.
Vor einigen Monaten habe ich mit jemandem gesprochen, der einen KI-Agenten für die offensive Sicherheit entwickelt. Das System war im Rahmen autorisierter Sicherheitsüberprüfungen im Bankwesen getestet worden. In Umgebungen, in denen schon kleine Fehler schwerwiegende Folgen haben können und vage Antworten nicht ausreichen.
Eine Geschichte ist mir besonders im Gedächtnis geblieben. Der Agent wies auf eine Schwachstelle in einer Webanwendung einer Bank hin, die erfahrene menschliche Tester in zwei vorangegangenen Testrunden übersehen hatten. Das lag nicht daran, dass die Beteiligten nachlässig waren. Das waren sie nicht. Der Agent tat einfach etwas, was Menschen nach stundenlanger, sich wiederholender Arbeit oft nicht mehr tun: Er führte die langweilige Überprüfung noch einmal durch, bemerkte eine Antwort, die leicht inkonsistent wirkte, und ging dem Hinweis nach, bis sich der Befund bestätigte.
War der Agent wirklich besser?
Doch derselbe Agent hatte auch schon selbstbewusst Unsinn produziert. Kurz vor dieser nützlichen Entdeckung behauptete er, eine Anmeldeseite sei anfällig für einen Angriff, den die Anwendungsstruktur gar nicht zuließ. Das klang technisch überzeugend. Es war aber falsch.
Dieser Kontrast ist das eigentliche Thema. Agentenbasierte KI kann überraschend nützlich sein, insbesondere wenn sie beharrlich und systematisch vorgeht und mit den richtigen Werkzeugen verknüpft ist. Sie kann aber auch auf eine selbstbewusste Weise falsch liegen, die schwer zu erkennen ist, wenn man nur das Endergebnis betrachtet.
Dieser Artikel ist keine Anleitung für Angriffe auf Banken. Die hier beschriebene Arbeit bezieht sich auf autorisierte Sicherheitsbewertungen. Die Kunden, Systeme und Ergebnisse wurden bewusst anonymisiert. Die wichtige Erkenntnis liegt nicht im Exploit selbst. Die wichtige Erkenntnis ist vielmehr, was die Entwicklung und das Testen von agentenbasierter KI in einem Umfeld mit hohem Risiko über Vertrauen, Verifizierung, Gedächtnis, Autonomie und Versagen offenbart.
Zuerst, was „agentisch“ bedeutet
Der Begriff „agentisch“ wird mittlerweile so weit gefasst verwendet, dass er fast alles bedeuten kann: ein Chatbot mit einer langen Eingabeaufforderung, ein Workflow mit einem Modellaufruf oder ein System, das selbstständig Werkzeuge auswählen und einsetzen kann. Für unsere Diskussion ist diese Unterscheidung jedoch von Bedeutung.
Das von mir beschriebene System folgte nicht einfach einer festen Checkliste. Es erhielt ein Ziel, wie beispielsweise die Prüfung eines Antrags, und Zugang zu einer Reihe von Werkzeugen. Es konnte Ergebnisse erfassen und abfragen, eine Wissensdatenbank zu Techniken konsultieren, Arbeitsgedächtnisinhalte speichern, den Kontext früherer Interaktionen abrufen und Abhilfemaßnahmen vorschlagen. Nach jeder Aktion beobachtete es das Ergebnis, aktualisierte sein Verständnis und entschied, wie es weiter vorgehen sollte.
Dieser Kreislauf von wahrnehmen, entscheiden, handeln, beobachten, wiederholen; ist es, der ihn zu einem Agenten und nicht zu einem Workflow macht.
Workflow vs. Agent: Ein Workflow folgt einer vordefinierten Abfolge. Ein Agent erhält ein Ziel und legt die Abfolge zur Laufzeit selbst fest. Diese Flexibilität ist sehr leistungsstark, erfordert jedoch strengere Kontrollen und Überprüfungen.
An dieser Stelle wird die Technik erst richtig interessant. Sobald ein Modell einen tatsächlichen Einfluss auf den Einsatz von Werkzeugen hat, geht es nicht mehr nur um die Qualität der Eingabeaufforderungen. Es wird zu einem Systemproblem: Zustandsverwaltung, Zuverlässigkeit der Werkzeuge, Zugriffskontrolle, Fehlerbehandlung, Erfassung von Nachweisen und Wiederherstellung nach Ausfällen.
Wenn du mehr über die Grundlagen agentischer KI und Agenten erfahren möchtest, dann lies hier weiter: Was sind KI-Agenten und agentische KI-Systeme?
Wo der Agent zu scheitern begann
Die ersten Misserfolge waren nicht dramatisch. Es waren gewöhnliche, immer wiederkehrende Probleme, und genau die Art von Problemen, die in ausgefeilten Demos normalerweise verborgen bleiben. Genau aus diesem Grund sind sie so wichtig.
| Fehlermodus | Wie es ausgesehen hat | Was passiert ist |
| Erklärungsschleifen | Der Agent versuchte dieselbe fehlgeschlagene Aktion mehrmals erneut und lieferte jedes Mal eine neue Erklärung dafür, warum sie funktionieren könnte | Er hat sich nicht verlässlich daran erinnert, dass die Aktion bereits gescheitert ist |
| Unbemerkte Werkzeugausfälle | Ein Tool hat einen Fehler oder ein leeres Ergebnis zurückgegeben, doch der Agent hat die Antwort als Erfolg gewertet | Das Model hat sich mehr auf die Antwort eines Werkzeuges verlassen als auf den tatsächlichen Inhalt der Antwort |
| Kontextverlust | Im weiteren Verlauf des Gesprächs vergaß der Agent eine zuvor gemachte Beobachtung und widersprach sich selbst | Die Sitzung wuchs über das Kontextfenster hinaus, und ältere Informationen verschwanden aus der aktiven Schlussfolgerungskette |
| Selbstbewusste Antworten | Der Agent hat eine Sicherheitslücke in ausgefeilter Fachsprache beschrieben, obwohl die Beweislage dies nicht stützte | Das Modell wurde auf eine schlüssige Antwort optimiert, doch schlüssig bedeutet nicht immer wahr |
Keine dieser Fehlerquellen ist auf den Bereich der Cybersicherheit beschränkt. Jedes Team, das einen KI-Assistenten entwickelt, der Daten abrufen, Tools aufrufen, Datensätze aktualisieren, Nachrichten versenden oder Empfehlungen aussprechen kann, wird früher oder später mit ähnlichen Problemen konfrontiert sein. Die Sicherheit sorgt lediglich dafür, dass die Kosten eines Fehlers nicht mehr ignoriert werden können.
Die wichtigste Erkenntnis: Verwechsle Selbstvertrauen nicht mit Richtigkeit
Eine flüssige Antwort ist nicht dasselbe wie eine verifizierte Antwort. Das ist theoretisch offensichtlich, wird jedoch überraschend leicht vergessen, wenn ein Agent eine klare, fachlich fundierte Erklärung abgibt. Im Bereich der offensiven Sicherheit ist dieser Unterschied entscheidend. Ein Fehlalarm in einem Bankprüfungsbericht ist keine geringfügige Unannehmlichkeit; er schadet der Glaubwürdigkeit, verschwendet Aufwand für Abhilfemaßnahmen und kann Teams von echten Risiken ablenken.
Die von mir befragte Person beschrieb die wichtigste Änderung im Konzept als einen Wandel von „der Agent hat eine Schwachstelle gefunden“ hin zu „der Agent hat eine Hypothese aufgestellt, und hier sind die Beweise, die diese stützen“. Diese Sichtweise verändert alles.
| Naives Framing | Verlässlicheres Framing |
| Der Agent hat 12 Sicherheitslücken gefunden | Der Autor stellte 12 Hypothesen auf; 7 davon werden durch reproduzierbare Belege gestützt, 5 müssen noch überprüft werden |
| Der Agent hat die Aufgabe eigenständig erledigt | Er hat die Aufgabe erfüllt und für jede wichtige Behauptung eine Nachweiskette erstellt |
| Mehr Autonomie ist besser | Mehr Autonomie ist nur dann sinnvoll, wenn sich damit auch die Überprüfung und Kontrolle verbessern |
| Das Modell ist leistungsfähig | Das Modell ist leistungsfähig, kann sich aber auch selbstbewusst irren. Das System muss für beide Fälle ausgelegt sein |
Das ist der Punkt, den ich auf jedes Produkt mit agentenbasierter KI übertragen würde. Der Wert liegt nicht nur in der Handlungsfähigkeit des Modells. Der wahre Wert liegt in dem umgebenden System, das entscheidet, wann man dem Modell vertrauen sollte.
Dem Agenten beibringen aus seinen Fehlern zu lernen
Das Problem der Erklärungsschleifen und das Problem des Kontextverlusts hatten dieselbe Ursache: der Agent verfügte nicht über ein beständiges, strukturiertes Gedächtnis dessen, was er bereits gelernt hatte. Ein längeres Transkript würde dieses Problem nicht lösen. Mehr Kontext ist nicht dasselbe wie ein besseres Gedächtnis.
Die Lösung bestand darin, von dem rohen Verlauf zum strukturierten Gedächtnis überzugehen. Dabei fielen die folgenden drei Ebenen besonders auf:
1. Strukturierte Lektionen anstelle eines kompletten Mitschnitts
Nach einem Einsatz sollte der Agent nicht einfach jede einzelne Maßnahme in einem umfangreichen Protokoll festhalten. Er sollte die Erfahrungen in wiederverwendbare Erkenntnisse umwandeln: Was hat in der Praxis funktioniert, was ist fehlgeschlagen, welche Annahmen wurden korrigiert, welche Anweisungen hat der Betreiber ausdrücklich erteilt und welche Fakten waren spezifisch für die Umgebung dieses Kunden?
Das ist wichtig, weil reine Fakten schnell zur bloßen Informationsflut werden. Strukturierter Unterricht macht bisherige Erfahrungen nutzbar.
2. Kontinuität der Sitzung auch bei längerer Arbeit
Sicherheitsbewertungen können länger dauern als ein einzelnes Modellkontextfenster. Der Agent benötigt daher eine fortlaufende Übersicht darüber, was bereits festgestellt wurde, was noch unklar ist und wo die entsprechenden Belege gespeichert sind. Sollte eine Sitzung unterbrochen werden oder der Kontext überlaufen, sollte das System aus einem kuratierten Zustand heraus fortfahren, anstatt erneut in einem Zustand der Unklarheit zu beginnen.
3. Verifizierung als Teil des Regelkreises
Die wichtigste Änderung war nicht ein raffinierter Prompt. Es ging vielmehr darum, dass Behauptungen durch Belege aus den Analysetools untermauert werden mussten, bevor sie in den Abschlussbericht aufgenommen wurden. Eine Schlussfolgerung ohne Belege sollte eine Hypothese bleiben. Wenn es keine reproduzierbaren Belege gibt, sollte dies gekennzeichnet und nicht veröffentlicht werden.
Praktisches Fazit: Ein längeres Kontextfenster ist keine Gedächtnisarchitektur. Ein ernstzunehmender Agent braucht strukturierte Lektionen, fortsetzbare Zustände und evidenzbasierte Berichterstattung.
Warum kompetitive Umgebungen besser lehren als freundliche Demos
Eine gut inszenierte Demo lässt anfällige Systeme robust erscheinen. Die Eingaben sind einwandfrei, der Benutzer kooperiert, die Reaktionen der Tools sind vorhersehbar, und der „Happy Path“ wird sorgfältig ausgewählt. In der Praxis verhalten sich Systeme jedoch nicht so.
Eine Bankenanwendung ist ein wesentlich realistischerer Test. Sie gibt mehrdeutige Fehlermeldungen aus. Unter Last verhält sie sich anders. Sie enthält Randfälle. Möglicherweise weist sie veraltete Logik, inkonsistente Antworten oder Steuerelemente auf, die auf unerwartete Weise zusammenwirken. In einer solchen Umgebung kann ein Agent nicht allein dadurch erfolgreich sein, dass er intelligent wirkt. Er muss mit Unsicherheiten umgehen können.
Deshalb ist der Sicherheitsbereich für das Verständnis agentischer KI so wertvoll. Er verursacht die Fehlermodi nicht, sondern deckt sie auf. Dieselben Probleme können auch im Kundensupport, im Finanzwesen, im Gesundheitswesen, in der Vertriebsautomatisierung, bei internen Copiloten oder im Datenmanagement auftreten. Sie lassen sich nur leichter ignorieren, wenn die Folgen weniger sichtbar sind.
Was KI Entwickler daraus lernen sollten
Der reifste Agent ist nicht derjenige, der am meisten tut. Es ist derjenige, der weiß, wann er genügend Beweise hat, wann er aufhören sollte, wann er um Klarstellung bitten sollte und wann er sagen sollte: „ich weiß es nicht“.
Aus diesem Gespräch würde ich die praktischen Erkenntnisse wie folgt zusammenfassen:
- Autonomie ohne Überprüfung ist ein Risiko, kein Zeichen von Reife
- Der Einsatz von Tools muss durch Richtlinien, Berechtigungen und Belege geregelt werden, nicht nur durch die Schlussfolgerungen des Modells
- Das Gedächtnis sollte strukturiert und kuratiert sein, nicht nur ein längeres Kontextfenster
- Jede wichtige Behauptung sollte auf Belege zurückverfolgt werden können
- Agenten sollten unter schwierigen Bedingungen getestet werden: ausgefallene Werkzeuge, feindselige Eingaben, lange Sitzungen, mehrdeutige Daten und Fälle, in denen die richtige Antwort „nicht genügend Belege“ lautet
Dies ist besonders wichtig für agentische Systeme, die mit sensiblen Werkzeugen verbunden sind. Die Frage lautet nicht einfach: „Kann der Agent die Aufgabe erfüllen?“. Die bessere Frage lautet: „Kann der Agent die Aufgabe erfüllen, ohne Fakten zu erfinden, Werkzeuge missbräuchlich zu nutzen, Berechtigungen zu ignorieren oder Unsicherheiten zu verschleiern?“.
Wenn du eine Sache mitnimmst: Denke immer sicherheitsbewusst
Agentische KI sollte weniger danach beurteilt werden, was sie tut, wenn alles reibungslos läuft, sondern vielmehr danach, wie sie reagiert, wenn etwas schiefgeht: wenn ein Tool ausfällt, der Kontext verloren geht, die Eingabe feindlich ist, die Daten unvollständig sind oder der Nutzer sie zu einer unsicheren Handlung drängt.
Deshalb finde ich die Sicherheitsperspektive so nützlich. Eine gute Sicherheitsmentalität geht davon aus, dass das System Schwachstellen hat, und macht sich auf die Suche nach ihnen, bevor sie zur Problematik werden. Die KI-Entwicklung braucht dieselbe Disziplin.
Der Entwickler dieses Agenten hat mich nicht davon überzeugen können, dass KI Sicherheitsexperten ersetzen wird. Das Gegenteil entspricht eher der Wahrheit. Die Arbeit hat mir gezeigt, dass agentenbasierte KI gutes Sicherheitsdenken verstärken kann, allerdings nur, wenn sie von strengen Sicherheitsvorkehrungen, strukturierten Speichern, Zugriffskontrollen und evidenzbasierten Überprüfungen umgeben ist.
Die Zukunft nützlicher Agenten liegt nicht in blinder Autonomie. Sie liegt in verantwortungsvoller Autonomie.
Ein Hinweis zum verantwortungsvollen Framing
Das Beispiel in diesem Artikel bezieht sich auf autorisierte Sicherheitsmaßnahmen, und der Zweck besteht darin, die technischen Erkenntnisse hinter agentenbasierter KI zu erörtern – nicht die Vorgehensweise bei Angriffen auf eine konkrete Organisation. Die zentrale Erkenntnis ist einfach: Gehe davon aus, dass der Agent irren kann, schaffe die Mittel, um dies zu erkennen, und vertraue niemals einer selbstbewussten Antwort, die nicht überprüft werden kann.
Wenn du weiteres Interesse an agentischer KI hast, interessieren dich vielleicht die folgenden Blogartikel:
Agentic AI: Wertschöpfung mit intelligenten Systemen
Was ist agentische KI? Interview mit unserem Data Scientist Neil
Author info
