Sicherheit autonomer KI-Systeme Der Not-Aus für KI-Agenten

Anbieter zum Thema

ACTRON AG

MES Electronic Connect GmbH & Co. KG

IBR Leiterplatten GmbH & Co. KG

KI-Agenten können Dateien verändern, Programme ausführen und auf Unternehmensdaten zugreifen. Eine neue Abschaltfunktion soll unerwünschte Aktionen stoppen. Ihr Nutzen hängt jedoch davon ab, wo und wie schnell sie eingreift.

Ein KI-Agent soll Dokumente auswerten, erhält über seine Werkzeuge aber auch die Möglichkeit, Dateien zu löschen oder Informationen weiterzugeben. Damit kann aus einer fehlerhaften Entscheidung eine konkrete Veränderung im Unternehmensnetz werden. Die Sicherheitsorganisation OWASP beschreibt solche Risiken unter dem Begriff „Excessive Agency“: Zu umfangreiche Funktionen, Berechtigungen oder Handlungsspielräume ermöglichen Schäden durch fehlerhafte oder manipulierte Modellausgaben. Ein externer Angreifer ist dafür nicht zwingend erforderlich.

CrowdStrike adressiert dieses Problem mit einem „AI Kill Switch“, den das Unternehmen am 3. November für Falcon Guardian vorgestellt hat. Nach Herstellerangaben sollen autorisierte Administratoren damit einen Agenten stoppen, seinen erneuten Start auf ausgewählten Rechnern oder Rechnergruppen verhindern und seinen Zugang zum Unternehmensnetz unterbrechen können. Die Eingriffe werden protokolliert. Die Entscheidung zum Abschalten liegt bei einem Menschen.

Der Ort des Eingriffs

Bei der Verfügbarkeit lohnt ein genauer Blick. CrowdStrike bezeichnet den Kill Switch als verfügbar, beschreibt das Stoppen jedoch zunächst am Gateway. Die entsprechende Funktion direkt auf dem Endgerät soll folgen. Das ergänzende AI Gateway führt KI-Datenverkehr über einen zentralen Kontrollpunkt, an dem Eingaben und Antworten geprüft sowie Richtlinien durchgesetzt werden können.

Diese Unterscheidung ist technisch wesentlich. Wird die Verbindung zu einem externen Modell blockiert, kann dies weitere Arbeitsschritte eines davon abhängigen Agenten verhindern. Daraus folgt aber noch nicht, dass auch ein bereits gestartetes lokales Programm beendet wird. Ein Agent mit lokal ausgeführtem Modell kann zudem ohne diese externe Verbindung arbeiten. Wie vollständig eine Abschaltung wirkt, hängt deshalb davon ab, welche Ausführungs- und Kommunikationswege die Sicherheitslösung tatsächlich kontrolliert.

CrowdStrike will dafür Informationen aus dem Agenten, seinem Netzwerkverkehr und seiner Ausführung auf dem Endgerät zusammenführen. Der Ansatz soll sichtbar machen, welcher Auftrag zu welcher Kommunikation und schließlich zu welcher Aktion führt. Die technische Idee dahinter ist nachvollziehbar: Der Inhalt einer Anfrage allein zeigt noch nicht, was ein Agent anschließend auf einem Rechner bewirkt.

Abschalten begrenzt Folgen

Ein zentral ausgelöster Stopp kann helfen, eine unerwünschte Aktionsfolge zu unterbrechen und Zeit für die Untersuchung zu gewinnen. Eine Sperre gegen den erneuten Start soll verhindern, dass der Agent anschließend wieder aktiv wird.

Eine solche Funktion kann bereits abgeschlossene Aktionen allerdings nicht rückgängig machen. Sind Daten übertragen oder Änderungen in einem anderen System ausgeführt, reicht das Beenden des ursprünglichen Agenten zur Wiederherstellung nicht aus. Auch bei delegierten Aufgaben stellt sich die Frage, ob der Eingriff sämtliche beteiligten Prozesse und Dienste erreicht.

Hinzu kommt die Reaktionszeit. Bei einer manuell ausgelösten Abschaltung müssen Sicherheitsverantwortliche das Problem erkennen, bewerten und den Eingriff veranlassen. Für die praktische Wirksamkeit zählt deshalb die gesamte Zeitspanne vom Beginn des Fehlverhaltens bis zur Unterbrechung. Konkrete Messwerte dafür nennt CrowdStrike in der Ankündigung nicht. Ebenso bleibt offen, wie umfassend bereits angestoßene Folgeprozesse erfasst werden.

Berechtigungen bleiben die erste Schutzlinie

Der Kill Switch ergänzt damit Maßnahmen, die bereits vor einer gefährlichen Aktion greifen müssen. OWASP empfiehlt, Agenten nur die tatsächlich benötigten Werkzeuge und Rechte bereitzustellen. Ein System zur Dokumentenanalyse benötigt beispielsweise nicht automatisch Schreib- oder Löschrechte. Für folgenreiche Aktionen sind zusätzliche menschliche Freigaben vorgesehen; Zugriffsregeln sollten in den angebundenen Systemen technisch durchgesetzt werden. (mr)

(ID:51013737)