KI-Angriff auf Hugging Face Wenn Zieltreue zum Sicherheitsrisiko wird: BSI warnt vor KI-Agenten

Der Angriff von OpenAI-Modellen auf Hugging Face war nach Einschätzung des BSI kein Fall einer böswillig handelnden KI. Der Vorfall zeige aber, wie schnell ein autonom handelnder Agent zum Sicherheitsrisiko werden kann. Die Behörde fordert deshalb eigene Rechte- und Rollenkonzepte für KI-Systeme.

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat den Sandbox-Ausbruch von OpenAI-Modellen und den anschließenden Angriff auf Hugging Face eingeordnet. In einem am 24. Juli 2026 veröffentlichten Beitrag des Cybernation-Blogs, der auf einer Videobotschaft von BSI-Präsidentin Claudia Plattner basiert, warnt die Behörde vor den möglichen Folgen autonom handelnder KI-Agenten. Der Vorfall sei zwar weniger plakativ gewesen, als es die Vorstellung einer auf ein anderes Unternehmen „losgehenden“ KI vermuten lasse. Seine grundsätzliche Bedeutung werde dadurch jedoch nicht kleiner.

Der BSI-Beitrag ist dabei keine technische Aufarbeitung des Angriffs und enthält keine neuen Details zu den ausgenutzten Schwachstellen. Die Behörde leitet aus dem Vorfall vielmehr grundsätzliche Anforderungen an den Umgang mit autonomen KI-Agenten ab.

Der Agent verfolgte weiterhin seinen Auftrag

Wie ELEKTRONIKPRAXIS bereits ausführlich berichtete, waren die Modelle GPT-5.6 Sol und ein bislang nicht veröffentlichtes OpenAI-Modell an dem Vorfall beteiligt. Sie sollten im Rahmen einer internen Sicherheitsprüfung komplexe Schwachstellen finden und Angriffspfade entwickeln. Die Modelle arbeiteten in einer abgeschotteten Testumgebung, deren Zugriff auf das offene Internet beschränkt sein sollte. Über eine bislang unbekannte Schwachstelle in einer Proxy-Software gelangten sie dennoch aus der Sandbox und erreichten einen Rechner mit Internetzugang. Anschließend griffen sie auf Systeme von Hugging Face zu, weil sie dort Informationen vermuteten, die ihnen bei der Lösung ihrer Testaufgabe helfen könnten.

Das BSI betont, dass hinter diesem Vorgehen keine böswillige Absicht stand. Der Agent hatte sich auch nicht von seinem ursprünglichen Ziel gelöst. Er entschied lediglich selbstständig, welche Zwischenschritte und Hilfsmittel er zur Erfüllung seines Auftrags für notwendig hielt. Gerade darin liegt nach Einschätzung der Behörde das Risiko: Ein Agent kann einen unerwarteten und möglicherweise schädlichen Weg wählen, ohne die Folgen dieses Vorgehens angemessen zu berücksichtigen. Verfügt er zugleich über ausreichende Zugriffsrechte und technische Fähigkeiten, können aus solchen Entscheidungen reale Schäden entstehen.

Eigene Rechte und Rollen für KI-Agenten

Als eine zentrale Konsequenz fordert das BSI durchdachte Berechtigungssysteme für KI-Agenten. Unternehmen müssten festlegen, was ein Agent tun darf, in wessen Auftrag er handelt und auf welche Systeme, Daten und Werkzeuge er zugreifen kann. Damit werden klassische Konzepte des Identitäts- und Zugriffsmanagements auch für KI-Systeme relevant. Ein Agent sollte demnach nicht nur als eingesetzte Software betrachtet werden, sondern als technischer Akteur mit einer klar definierten Identität, begrenzten Rechten und nachvollziehbaren Aktionen.

Der Hugging-Face-Vorfall zeigt zugleich, dass eine Sandbox allein keine vollständige Sicherheit garantiert. Die OpenAI-Modelle fanden in einer eigentlich isolierten Umgebung eine Schwachstelle und nutzten sie als Ausgangspunkt für weitere Angriffsschritte. Die Absicherung muss deshalb mehrere Ebenen umfassen und auch den Fall berücksichtigen, dass ein Agent die erste Schutzbarriere überwindet.

Weiterhin fordert das BSI Unternehmen dazu auf, KI selbst stärker für die Cyberabwehr einzusetzen. Leistungsfähige Modelle könnten Quellcode und IT-Systeme systematisch auf Schwachstellen untersuchen. Erkannte Lücken müssten anschließend konsequent geschlossen werden. Eine zweite Einsatzmöglichkeit sieht die Behörde bei der Erkennung laufender Angriffe. KI-Systeme könnten Auffälligkeiten im Netzwerkverkehr und ungewöhnliche Aktivitäten automatisiert erfassen und Gegenmaßnahmen einleiten.

Europa braucht eigene KI-Fähigkeiten

Das BSI zieht aus dem Vorfall auch eine industriepolitische Konsequenz. Europa müsse eigene leistungsfähige KI-Modelle für Schutz und Abwehr entwickeln und sicher einsetzen können. Lägen solche Fähigkeiten ausschließlich bei Anbietern aus den USA und China, drohe eine Abhängigkeit bei einer sicherheitskritischen Technologie.

Europa benötige daher nicht nur Zugang zu leistungsfähigen Modellen. Es müsse auch in der Lage sein, diese selbst zu entwickeln, zu betreiben und in agentische Systeme einzubinden. Der Aufbau eigener KI-Kompetenz sei damit nicht allein eine Frage der wirtschaftlichen Wettbewerbsfähigkeit, sondern zunehmend auch der Cybersicherheit. (sb)

Autonomer Cyberangriff

KI-Modelle von OpenAI greifen selbsttätig andere KI-Firma an

(ID:50910776)