Warum modellzentrierte Governance an ihre Grenzen stößt
Die meisten KI-Governance-Programme wurden für Umgebungen konzipiert, in denen sich Risiken vor allem in Modellen und Datensätzen konzentrierten. In der Regel wurden Kontrollmechanismen bereits während der Design- und Entwicklungsphase festgelegt, in regelmäßigen Abständen überprüft und manuell dokumentiert.
Autonome Agenten verändern dieses Modell grundlegend.
Nach der Bereitstellung können Agenten:
- Kontinuierlich operieren
- Systemübergreifend auf Tools zugreifen und diese nutzen
- Auf sensible Daten zugreifen und diese weitergeben
- Ihre Fähigkeiten durch das Delegieren von Aufgaben erweitern
- Entscheidungen ohne direkte menschliche Beteiligung treffen
In produktiven Umgebungen verlagert sich der Risikofokus vom Verhalten der Modelle auf das Verhalten der Agenten. Governance-Ansätze, die auf statischen Überprüfungen oder punktuellen Freigaben beruhen, können mit autonomen Agenten, die eigenständig handeln, sich anpassen und kontinuierlich skalieren, kaum Schritt halten.
Eine wirksame Kontrolle erfordert eine Durchsetzung zur Laufzeit statt nachträglicher Prüfungen.
Wenn Governance den Agenten-Lebenszyklus nicht abdeckt
Die meisten Governance-Probleme bei autonomen Agenten entstehen nicht bei deren Inbetriebnahme. Oft treten sie erst Wochen oder Monate später auf, wenn die Agenten Zugriff auf neue Tools erhalten, zusätzliche Berechtigungen übernehmen oder ihren ursprünglich definierten Handlungsrahmen zunehmend überschreiten.
Ohne wirksame Lebenszyklus-Kontrolle entstehen erhebliche Risiken:
- Schleichende Ausweitung von Zugriffsrechten
- Unklare Zuständigkeiten
- Fragmentierte Audit-Trails über mehrere Systeme hinweg
- Nicht getestete Eskalationsprozesse
- Unbemerkte Anhäufung von Risiken
Governance in produktiven Umgebungen muss Agenten daher kontinuierlich über ihren gesamten Lebenszyklus hinweg begleiten – von Änderungen und Erweiterungen bis hin zur Außerbetriebnahme. Governance ist kein einmaliger Kontrollpunkt mehr, sondern ein kontinuierlicher Regelkreis.
Fünf Kontrollebenen für die Governance von Agenten im produktiven Betrieb
Eine wirksame Governance für KI-Agenten lässt sich nicht durch eine einzelne Kontrollmaßnahme erreichen. Erforderlich ist das Zusammenspiel mehrerer ineinandergreifende Kontrollebenen. Diese müssen Transparenz schaffen, eine unkontrollierte Ausweitung von Rechten und Befugnissen verhindern und auch im laufenden Betrieb für Nachvollziehbarkeit und Rechenschaftspflicht sorgen.
1. Ein klarer Handlungsrahmen als verbindliche Grundlage
Für jeden produktiv eingesetzten Agenten muss ein klar definierter Handlungsrahmen festgelegt werden, der bestimmt, welche Aufgaben er ausführen darf, welche ihm untersagt sind und in welchen Fällen eine menschliche Aufsicht oder Freigabe erforderlich ist.
Dieser Handlungsrahmen bildet die verbindliche Grundlage für das Handeln des Agenten und dient nicht nur der Dokumentation.
Eine produktionsreife Agentenspezifikation umfasst:
- Geschäftszweck und Verantwortlichkeit
- Freigegebene Tools und Integrationen
- Zulässige Datenklassen
- Entscheidungs- und Autonomiegrenzen
- Risikobasierte Eskalationskriterien
- Festgelegte operative Risikostufe
Sobald der Agent produktiv eingesetzt wird, bewerten Überwachungs- und Durchsetzungssysteme sein Verhalten anhand dieses Handlungsrahmens.
2. Eindeutige Identität und Zugriff nach dem Least-Privilege-Prinzip
Eine wirksame Kontrolle setzt voraus, dass alle handelnden Akteure eindeutig identifizierbar sind.
Autonome Agenten müssen über eine eindeutige und nachvollziehbare digitale Identität verfügen, die in das Identitäts- und Zugriffsmanagement eingebunden ist. So können Unternehmen dieselben Zero-Trust-Prinzipien auf Agenten anwenden wie auf Menschen und Dienste.
Produktionskontrollen umfassen:
- Standardmäßige Durchsetzung des Least-Privilege-Prinzips
- Autorisierung auf Aktionsebene
- Protokollierung auf Sitzungsebene
- Regelmäßige Überprüfung von Zugriffsrechten im Zuge der Weiterentwicklung von Agenten
Erst eine eindeutige Identität macht die Aktivitäten von Agenten transparent, nachvollziehbar und auditierbar.
3. Risikobasierte menschliche Aufsicht zur Laufzeit
Kontinuierliche Kontrolle bedeutet nicht, dass Menschen ständig eingreifen müssen. Vielmehr geht es darum, einzugreifen, wenn das Risiko es erfordert.
Governance in produktiven Umgebungen erfordert eine risikobasierte Aufsicht, die sich an den potenziellen Auswirkungen der Handlungen eines Agenten orientiert:
- Handlungen mit geringem Risiko
Reversible, nicht regulierte Aufgaben können eigenständig ausgeführt werden - Handlungen mit mittlerem Risiko
Leitplanken, Schwellenwerte und nachgelagerte Prüfungen kommen zur Anwendung - Handlungen mit hohem Risiko
Zugriff auf regulierte Daten, Änderungen in Aufzeichnungssystemen sowie irreversible Entscheidungen erfordern eine menschliche Freigabe
Mit diesem Modell können Unternehmen den Einsatz von Agenten skalieren, ohne die Kontrolle zu verlieren.
4. Kontinuierliche Überwachung, Auditierbarkeit und Drifterkennung
Sobald Agenten produktiv im Einsatz sind, wird kontinuierliche Transparenz zur Voraussetzung für eine wirksame Governance.
Bei der Überwachung produktiver Agenten sollte Folgendes erfasst werden:
- Toolaufrufe und Systeminteraktionen
- Datenzugriff und -bewegung
- Richtlinienverstöße
- Verhaltensanomalien
- Fähigkeitsdrift im Zeitverlauf
Ebenso wichtig ist die Auditierbarkeit. Jede Handlung muss einer eindeutigen Agentenidentität zugeordnet und mit dem genehmigten Handlungsrahmen verknüpft werden können. Darüber hinaus muss sie sich im Rahmen von Audits, Untersuchungen oder regulatorischen Prüfungen belastbar belegen lassen.
Der Reifegrad der Governance bemisst sich nicht am Umfang der Richtlinien, sondern daran, ob eine kontinuierliche Aufsicht nachgewiesen werden kann.
5. Klare Zuständigkeiten, Befugnisse und Leitplanken
Die Agenten-Governance scheitert, wenn die Verantwortlichkeiten unklar sind oder die Entscheidungsbefugnisse auf zu viele Stellen verteilt werden.
Wirksame Governance-Programme etablieren:
- Ein funktionsübergreifendes Governance-Gremium, das die Bereiche Informationssicherheit, Datenschutz, Daten-Governance, Recht und Betrieb abdeckt
- Klare Verantwortung auf Führungsebene mit der Befugnis, Agenten auszusetzen oder einzuschränken
- Einheitliche Leitplanken für sämtliche Agenten
- Unternehmensspezifische Kontrollmechanismen, die auf die Risikotoleranz des Unternehmens abgestimmt sind
Governance ist eine gemeinsame Verantwortung, die Rechenschaftspflicht muss jedoch eindeutig geregelt sein.
KI-Agenten in MCP-Umgebungen: Wo Kontrolle zur Laufzeit an ihre Grenzen stößt
Das Model Context Protocol (MCP) wirft Governance-Herausforderungen auf, für die herkömmliche statische Frameworks nicht ausgelegt sind. Wenn Agenten eine Verbindung zu MCP-Servern herstellen, erhalten sie delegierten Zugriff auf Tools, Daten und externe Systeme. Arbeiten sie in Multi-Agenten-Pipelines, geben sie Kontextinformationen und Berechtigungen an andere Agenten weiter, ohne dass Menschen unmittelbar nachvollziehen können, welche Berechtigungen in den einzelnen Schritten erteilt werden.
Ohne Durchsetzung zur Laufzeit entstehen in MCP-Umgebungen Risiken in drei zentralen Bereichen:
- Toolzugriffe nehmen zu, wenn Verantwortlichkeiten nicht eindeutig zugeordnet sind. In produktiven Umgebungen steigt die Zahl der Verbindungen zu MCP-Servern kontinuierlich. Fehlt ein zentrales Verzeichnis, das dokumentiert, welche Agenten unter welchen Bedingungen welche Tools aufrufen dürfen, bleibt die Ausweitung von Zugriffsrechten unsichtbar – und was unsichtbar ist, lässt sich auch nicht wirksam steuern.
- Delegationsketten können die Rechenschaftspflicht erschweren. Orchestrator-Agenten erstellen Unteragenten, delegieren Aufgaben und erhalten Ergebnisse aus Prozessen, die sie nicht unmittelbar selbst initiiert haben. Ohne eindeutige und lückenlos rückverfolgbare Identitäten über alle Prozessschritte hinweg ist es nicht mehr möglich, die Verantwortung für einzelne Handlungen eindeutig nachzuvollziehen.
- Modellbasierte Kontrollen allein reichen nicht aus, um Risiken auf Sitzungsebene zu erfassen. Die tatsächlichen Berechtigungen eines Agenten hängen davon ab, welche Tools verbunden sind und welche Kontextinformationen innerhalb der jeweiligen Sitzung übergeben wurden. Governance-Mechanismen, die auf nachgelagerte oder periodische Prüfungen setzen, können mit der Dynamik laufender Sitzungen nicht Schritt halten.
Um diese Lücken zu schließen, müssen die beschriebenen Kontrollebenen auch auf Verbindungs- und Sitzungsebene konsequent greifen. Jede MCP-Toolverbindung sollte registriert, dokumentiert und einer verantwortlichen Stelle eindeutig zugeordnet sein. Zugriffsrechte sind nach dem Least-Privilege-Prinzip auf Tool-Ebene zu vergeben. Delegationsketten müssen transparent definiert und klar begrenzt werden. Zudem sollten Audit-Trails die gesamte Handlungskette lückenlos und nachvollziehbar abbilden.
Darin wird die operative Realität hinter dem Konzept der Guardian-Agenten im AI-TRiSM-Framework von Gartner deutlich: Mit zunehmender Skalierung wird die Durchsetzung von Governance zu einer Systemfunktion und nicht mehr zu einer primär menschlichen Aufgabe. Guardian-Agenten setzen Zugriffsgrenzen auf Sitzungsebene durch, überwachen Delegationsketten in Echtzeit und erkennen Verstöße, bevor daraus Sicherheits- oder Compliance-Vorfälle entstehen. Für Unternehmen, die heute MCP-Umgebungen betreiben, liegt genau hier der Unterschied zwischen einer dokumentierten KI-Governance-Richtlinie und der Fähigkeit, deren wirksame Umsetzung nachzuweisen.
Operative Anforderungen an die Governance von KI-Agenten im produktiven Betrieb
Im produktiven Betrieb reicht konzeptionelle Governance allein nicht aus. Erforderlich ist eine operative Governance.
Mit zunehmender Skalierung benötigen Unternehmen:
- Ein zentrales Agentenverzeichnis
Eine zentrale und verlässliche Quelle für alle Agenten mit Informationen zu Verantwortlichkeiten, Zugriffsrechten, Risikostufe und Integrationen - Automatisierte Durchsetzung von Richtlinien
Kontrollen, die sowohl bei der Bereitstellung als auch zur Laufzeit greifen und nicht erst nachträglich manuell überprüft werden - Eine Infrastruktur zur kontinuierlichen Überwachung
Zentrale Protokollierung, Anomalieerkennung und Warnmeldungen auf Basis eindeutiger Agentenidentitäten - Klare Befugnisse für das Vorfallmanagement
Die Möglichkeit, Agenten bei Bedarf sofort auszusetzen, ihre Aktivitäten einzuschränken oder außer Betrieb zu nehmen - Kontrollierte Änderungsprozesse für Agenten
Geregelte Bereitstellung von Updates, neuen Tools und erneutem Training - Berichterstattung auf Führungsebene
Kennzahlen zur Messung von Abdeckung, Wirksamkeit und Nachweisbarkeit
Im produktiven Betrieb gilt zunächst jeder Agent als geschäftskritisch, sofern nicht nachweislich etwas anderes festgestellt wurde.
Wie kontinuierliche Agenten-Governance durchgängig funktioniert
- Schritt 1: Agenten identifizieren und registrieren
Identifizieren Sie Agenten über verschiedene Umgebungen hinweg und erfassen Sie sie in einem zentralen Verzeichnis - Schritt 2: Identität und Verantwortlichkeiten festlegen
Stellen Sie sicher, dass jeder Agent eine eindeutige Identität hat und einem Verantwortlichen eindeutig zugeordnet ist - Schritt 3: Verbindliche Handlungsrahmen definieren
Überführen Sie Vorgaben in durchsetzbare Leitplanken und klare Eskalationsregeln - Schritt 4: Least-Privilege-Zugriff durchsetzen
Integrieren Sie Agenten in Zero-Trust-Zugriffskontrollen - Schritt 5: Verhalten kontinuierlich überwachen
Verfolgen Sie Handlungen, erkennen Sie Drift und machen Sie Risiken in Echtzeit sichtbar - Schritt 6: Aufsicht und Abhilfemaßnahmen umsetzen
Greifen Sie bei Erreichen definierter Risikoschwellen ein oder leiten Sie Eskalationsmaßnahmen ein - Schritt 7: Änderungen und Außerbetriebnahme steuern
Steuern Sie Updates kontrolliert und nehmen Sie Agenten sicher und nachvollziehbar außer Betrieb
Dabei handelt es sich nicht um ein einmaliges Projekt, sondern um einen kontinuierlichen Kontrollprozess. Bei entsprechender Skalierung wird die Durchsetzung selbst zu einer Agentenfunktion. Genau das bezeichnet Gartner im AI-TRiSM-Framework als Guardian-Agenten – autonome Governance-Systeme, die andere Agenten in Echtzeit überwachen, begrenzen und auditieren. Die OneTrust Plattform wurde entwickelt, um genau diese Aufsichts- und Kontrollebene bereitzustellen.
Wie OneTrust Guardian-Agenten operativ einsetzt
OneTrust ist die AI-Ready Governance Platform™ – die Plattform, mit der Unternehmen Risiken, Sicherheit, Daten, Datenschutz, Drittparteien und KI operativ kontrollieren können.
OneTrust fungiert für autonome Agenten als zentrale KI-Kontrollebene und ermöglicht es Unternehmen:
- Ein Verzeichnis aller KI-Systeme und KI-Agenten zu führen
- Risiken anhand regulatorischer Rahmenwerke wie dem EU AI Act zu bewerten
- Governance-Vorgaben über den gesamten KI-Lebenszyklus hinweg konsistent durchzusetzen
- KI-Assets kontinuierlich auf Verzerrungen, Leistungsdrift und die Offenlegung sensibler Daten zu überwachen
- Prüffähige Dokumentation zu erstellen
OneTrust macht Governance auch im großen Maßstab operativ umsetzbar.
Warum CISOs jetzt handeln müssen
KI-Agenten beschleunigen Geschäftsprozesse, doch je schneller sie arbeiten, desto größer wird das Risiko.
CISOs tragen nicht nur die Verantwortung, Risiken frühzeitig zu erkennen, sondern auch, Kontrollverlust zu verhindern und eine wirksame Aufsicht nachweisbar sicherzustellen. Zudem müssen sie dem Unternehmen ermöglichen, Innovationen schneller voranzutreiben, ohne zusätzliche Risiken einzugehen. Unternehmen, die Agenten-Governance lediglich als Dokumentationsaufgabe verstehen, werden langfristig ins Hintertreffen geraten. Unternehmen, die kontinuierliche Governance hingegen als operativen Prozess etablieren, können KI mit Zuversicht skalieren.
Häufig gestellte Fragen
