Wenn KI zum Insider wird

Nach einer ganzen Reihe an bekanntgewordenen Vorfällen gibt es seit einigen Monaten zunehmend Bedenken, ob künstliche Intelligenz-Modelle (KI) sicher sind. Die Vorfälle zeigen zum einen wie leistungsfähig KI-Modelle mittlerweile geworden sind, zum anderen wird deutlich, dass sie erhebliche Risiken in sich bergen, wenn wir nicht verantwortungsvoll mit ihnen umgehen. Angesichts des weltweiten Innovationswettlaufs und der immer größeren Leistungsfähigkeit dieser Modelle wird sich diese Herausforderung weiter verschärfen.

Bisher ging es bei den meisten Sicherheitsbedenken darum, ob Angreifer leistungsfähige KI-Modelle für Cyberattacken missbrauchen könnten. Darum wurde den KI-Agenten innerhalb der IT-Infrastruktur von Unternehmen deutlich weniger Aufmerksamkeit geschenkt. Da diese Agenten von Unternehmen selber eingeführt wurden, vertraute man ihnen implizit.

Leider können wir uns heutzutage auf hochentwickelte KI-Modelle nicht mehr uneingeschränkt verlassen – egal wer sie entwickelt hat. Nicht etwa, weil die Modelle grundsätzlich böse sind. Vielmehr wurden sie darauf trainiert, Erfolg zu haben. Das führt häufig dazu, dass sie versuchen Wege finden um ihre Belohnungen zu erhalten, ohne dafür unbedingt die ihnen eigentlich vorgegebenen Ziele zu erfüllen (sogenanntes „Reward Hacking“). Zudem sind die Modelle nicht unbedingt darauf ausgelegt, sich an unternehmensspezifischen Vorgaben oder menschlichem Urteilsvermögen zu orientieren. Mit anderen Worten, KI-Agenten können unberechenbar sein. Sie passen ihr Verhalten an veränderte Rahmenbedingungen an, handeln möglicherweise anders als beabsichtigt und arbeiten mit anderen Agenten zusammen, sprechen sich um ihre Ziele zu erreichen mit anderen Agenten ab – und all dass, ohne dass sie zuvor kompromittiert wurden.

KI-Agenten werden inzwischen in großem Umfang in Unternehmen eingesetzt, und ihre Zahl wächst rasant. Häufig verfügen diese Agenten über viel weitreichendere Berechtigungen als notwendig. Sie haben Zugriff auf Daten, Tools und Systeme und können in kritischen Geschäftsprozessen eigenständig handeln und Entscheidungen treffen. Damit sind sie zu handlungsfähigen Akteuren innerhalb der Unternehmen geworden.

Sie sind zu „Agentic Insiders“ geworden – KI-Agenten, die als Insider innerhalb des Unternehmens agieren.

Es ist darum notwendig, diese Agenten ständig zu überwachen und abzusichern. Wir müssen in Echtzeit nachvollziehen können, was die Agenten tun, welche Risiken ihre Handlungen mit sich bringen und ihre Handlungsmöglichkeiten entsprechend anpassen.

Um diese Insider zu verwalten und zu kontrollieren, benötigen wir sogenannte Guardian Agents – ein in der Branche etablierter Begriff für spezialisierte Schutzagenten. Sie überwachen und kontrollieren jede einzelne Aktion jedes KI-Agenten, bevor diese ausgeführt wird – 24 Stunden am Tag, sieben Tage in der Woche.

Ein KI-Agent vereint ein KI-Modell, ein sogenanntes „Harness“, das seine Arbeitsabläufe orchestriert, einen Handlungsraum aus Tools und Ressourcen sowie eine Laufzeitumgebung, in der er ausgeführt wird. Die Absicherung von KI-Agenten erfordert daher Schutzmaßnahmen auf mehreren Ebenen: Identitäten, Berechtigungen, Daten, Endgeräte, Netzwerke, Cloud-Umgebungen und Laufzeitumgebungen.

Im Juli haben wir Perception vorgestellt – ein agentenbasiertes Sicherheitssystem, das auf unserem neuen Cybersecurity-Stack sowie Teams aus roten, blauen und grünen KI-Agenten basiert. Es unterstützt Sicherheitsteams dabei, schnell zu handeln und gleichzeitig KI-gestützte Angriffe abzuwehren, die von außerhalb des Unternehmens ausgehen.

Derselbe Cybersecurity-Stack lässt sich auch unmittelbar für die Verwaltung und Kontrolle jener KI-Agenten einsetzen, die innerhalb des Unternehmens agieren.

Mit Perception lassen sich Agentic Insiders kontrollieren und eingrenzen, indem deterministische Sicherheitskontrollen auf nichtdeterministische KI-Systeme angewendet werden:

• Sensoren, Signale und Aktuatoren: Signale aus unterschiedlichen Sicherheitsbereichen – Identitäten, Daten, Cloud, Endgeräte, Netzwerke und Laufzeitumgebungen – werden zusammengeführt. So lassen sich sämtliche KI-Agenten im Unternehmen identifizieren und unter eine zentrale Verwaltung stellen. Dazu erhält jeder Agent eine eigene Identität, einen Container sowie definierte Richtlinien und Berechtigungen.
• Kontext: Anhand dieser Signale wird dynamisch bewertet, welche Risiken mit den geplanten Aktionen der KI-Agenten verbunden sind.
• Harness, Agenten und Modelle: Auf Grundlage der dynamischen Risikobewertung überwacht ein Team aus Guardian Agents, darunter Blue Agents zur Erkennung und Analyse von Bedrohungen sowie Green Agents zur Behebung von Sicherheitsrisiken und Stärkung der Abwehr, kontinuierlich und aktiv jede einzelne Aktion aller KI-Agenten. Steigt das Risikoprofil, greifen diese Schutzagenten in Echtzeit gezielt ein.

Genau hier verändert agentenbasierte Sicherheit die Rahmenbedingungen für IT-Sicherheitsverantwortliche grundlegend.

Perception ermöglicht eine Überwachung in Echtzeit und sorgt zugleich für die notwendige Nachvollziehbarkeit. So können Sicherheitsexperten untersuchen, was geschehen ist, verstehen, warum ein Risiko entstanden ist, und dann beurteilen, welche Anpassungen sie am Sicherheitssystem vornehmen müssen.

Agentenbasierte Sicherheit liefert Geschwindigkeit. Sicherheitsexperten liefern Urteilsvermögen. Erst durch dieses Zusammenspiel können Verteidiger mit derselben Geschwindigkeit agieren, wie die Systeme gegen die sie sich schützen müssen.

Bereits heute können Sicherheitssysteme die Aktionen von KI-Agenten zuverlässig beobachten. Die dabei gewonnenen Signale sind unverzichtbar, denn sie zeigen uns, welche Aktivitäten wir kontrollieren und gegebenenfalls einschränken müssen.

Unsere Sicherheitskontrollen sollten jedoch zunehmend in der Lage sein, nicht nur die Frage „Was passiert gerade?“ zu beantworten, sondern auch: „Warum passiert es? Entspricht dieses Verhalten der ursprünglichen Absicht der Aufgabe?“

Dafür benötigen wir mehr Transparenz darüber, was innerhalb der KI-Modelle selbst geschieht. Es reicht nicht aus, lediglich die Ein- und Ausgabetokens zu betrachten. Wir müssen auch Einblick in die Denkprozesse und die sogenannten „Chain-of-Thought“-Tokens erhalten.

Erst dann können wir wirklich verstehen, ob die Absichten eines Modells mit dem vorgesehenen Zweck des jeweiligen KI-Agenten übereinstimmen.

Diese Transparenz wird die Begrenzung und Kontrolle von KI-Agenten nicht ersetzen. Sie wird diese Maßnahmen vielmehr intelligenter und wirksamer machen. Gleichzeitig ermöglicht sie es uns, Verantwortlichkeiten klarer zuzuordnen und die Nachvollziehbarkeit zu verbessern.

Das muss der nächste Schritt bei der Absicherung von Agentic Insiders sein.

Mit Perception können Unternehmen bereits heute damit beginnen, ihre Agentic Insiders abzusichern. Damit ist klar: Innovation und Sicherheit müssen kein Widerspruch sein.