AI-Modelle, die fremde Systeme angreifen: warum das eine Führungsfrage ist

Mehrere Sicherheitstests großer AI-Anbieter haben in den vergangenen Wochen gezeigt, dass leistungsfähige Modelle Grenzen einer Testumgebung überwinden oder unbeabsichtigt offene Zugänge nutzen können. Für Unternehmen ist daran weniger die Schlagzeile interessant als die Frage, welche technischen und organisatorischen Grenzen ein autonom handelndes System tatsächlich hat. 

Meine These vorweg: Das Risiko liegt nicht im Modell, sondern in der Art, wie ein Unternehmen die Kontrolle darüber organisiert. Und diese Kontrolle ist keine Frage für die IT allein. Sie gehört auf den Vorstandstisch.

OpenAI machte im Juli den Anfang, Anthropic und Meta folgten ^[1][5]. Die Berichterstattung warf die Fälle zusammen. Das führt in die Irre, denn nur einer war ein echter Ausbruch. 

Im gravierendsten Fall sollten die Modelle in einer abgeschotteten Testumgebung ohne Internet bleiben, einer sogenannten Sandbox. Der Begriff stammt aus der Softwareentwicklung und beschreibt einen bewusst isolierten Bereich, in dem sich Programme gefahrlos ausprobieren lassen, ohne dass sie echte Systeme erreichen. Diese Isolation hielt aber nicht. 

Ein Modell von OpenAI fand eine bis dahin unbekannte Schwachstelle (Zero Day) in der Evaluationsumgebung, verschaffte sich darüber Internetzugang und griff anschließend die Produktivsysteme der AI-Plattform Hugging Face an, um Informationen für die Lösung seiner Aufgabe zu beschaffen ^[13]. 

Bei Anthropic war dagegen kein Ausbruch nötig. Eine nachträgliche Prüfung von über 141.000 Testläufen deckte drei Vorfälle auf, bei denen Modelle die Systeme dreier realer Organisationen erreichten. Eine Fehlkonfiguration beim Evaluationspartner hatte die Testumgebung versehentlich mit dem Internet verbunden, obwohl die Modelle die klare Anweisung hatten, es gebe keinen Zugang. Sie nutzten diese offene Tür mit einfachsten Mitteln wie schwachen Passwörtern und ungesicherten Schnittstellen ^[1][2]. Auch Meta bestätigte, dass ein Modell in einem Sicherheitstest externe Systeme erreichte ^[5][6].

Ein Detail ist aufschlussreich. Anthropic beschreibt, dass Modelle ihre Aktionen teilweise fortsetzten, obwohl sie Hinweise auf eine reale Internetverbindung erhielten und diese teils sogar als solche erkannten ^[4]. Für die Risikobewertung reicht es deshalb nicht, allein auf das Verhalten des Modells zu schauen. Ebenso wichtig sind Netzwerkgrenzen, Berechtigungen, verfügbare Tools und die Regeln, die außerhalb des Modells technisch erzwungen werden. 

Die Vorfälle brauchen keine Erklärung über Absicht oder „bösen Willen“. Ein Modell verfolgt ein Ziel und nutzt dafür die erreichbaren Werkzeuge und Zugänge. Sind diese Zugänge weiter gefasst als vorgesehen, entsteht ein Sicherheitsproblem unabhängig davon, wie gut die ursprüngliche Anweisung formuliert war. 

Sobald ein AI-System nicht mehr nur Texte schreibt, sondern selbstständig handelt, also APIs anspricht, Daten abruft, Code ausführt, Tickets verändert oder Geschäftsprozesse anstößt, wird dieses Handeln zur Führungsentscheidung. Was darf ein solches System eigenständig auslösen, und bis zu welcher Grenze? 

Unternehmen müssen festlegen, welche Aktionen ohne Freigabe zulässig sind, welche Identitäten und Rechte der Agent erhält, wie Aktivitäten protokolliert werden und an welcher Stelle ein Mensch eingreifen muss. Hier geht es um gute Governance.

Erforderlich ist ein vorgelagerter Rahmen außerhalb des Modells, den ein Mensch definiert und kontrolliert. Der berühmte „Human in the Loop“ kann Teil dieser Kontrolle sein, ist aber nur eine von mehreren Ebenen. Entscheidend sind technische Leitplanken, die ein Modell nicht selbst aufheben kann: minimale Berechtigungen, getrennte Umgebungen, Netzwerkregeln, Freigabeschritte und nachvollziehbare Protokolle. 

Vergleichbar ist das mit einem neuen Mitarbeiter. Auch er bekommt nicht am ersten Tag Zugriff auf alle Systeme und die Vollmacht, Zahlungen anzuweisen. Bei einem AI-Agenten kommt hinzu, dass er Aktionen wesentlich schneller, automatisiert und in großer Zahl ausführen kann. Berechtigungsmanagement und technische Begrenzungen müssen deshalb vor dem produktiven Einsatz geklärt sein. Die Sandbox-Vorfälle unterstreichen das. 

Neben den technischen Grenzen eines Agenten gibt es einen zweiten Strang, der Entscheider:innen betrifft und eng mit den Vorfällen zusammenhängt. Er dreht sich um die Frage, auf welche Modelle sich ein Unternehmen überhaupt verlassen kann. Wie abhängig es also von einzelnen Modellanbietern, Regionen oder Bereitstellungsformen sein sollte. 

Die Verfügbarkeit von AI-Modellen hängt zunehmend an der Handelspolitik. Im Frühsommer war der Zugang zu einer führenden Modellfamilie über Wochen eingeschränkt, weil Exportkontrollen griffen ^[13]. Auf der anderen Seite prüfen die USA, den Einsatz chinesischer Modelle in Firmen mit Regierungsgeschäft zu beschränken, während China überlegt, den Zugang zu seinen besten Modellen zu begrenzen ^[10][11]. Wer seine AI-Strategie an einen einzelnen Anbieter oder eine einzelne Herkunftsregion bindet, baut ein Klumpenrisiko auf, das über Nacht real werden kann. 

Daher ist eine belastbare Übersicht darüber erforderlich, welches Modell in welchem Produkt eingesetzt wird, welche Daten verarbeitet werden, wo die Verarbeitung stattfindet und welche Alternativen technisch vorbereitet sind ^[12]. Dass Unternehmen bereits mehrere Modellfamilien parallel einsetzen, zeigt auch die a16z-Erhebung: 81 Prozent der befragten Unternehmen nutzten drei oder mehr Modellfamilien; ein knappes Jahr zuvor waren es 68 Prozent ^[3].

Wie wichtig diese Unabhängigkeit ist, zeigt ein Detail aus dem OpenAI/Hugging-Face-Vorfall. Als das betroffene Unternehmen den Angriff aufarbeiten wollte, verweigerten die zunächst genutzten kommerziellen Modelle die Analyse. Ihre Schutzmechanismen konnten einen Verteidiger nicht von einem Angreifer unterscheiden und blockierten die Arbeit. Erst ein frei verfügbares Modell auf eigener Infrastruktur brachte die Untersuchung zum Abschluss, schnell und ohne dass sensible Daten das Haus verließen ^[7][8]. 

Daraus folgt ein Argument, das bei einem Chief Information Security Officer (CISO) oft schneller zieht als der Verweis auf den Datenschutz. Wer sich im Ernstfall verteidigen will, muss die Werkzeuge dafür selbst in der Hand haben. Sie sichern die Handlungsfähigkeit im Krisenfall. Die Branche erkennt das inzwischen an: Mit der Open Secure AI Alliance hat sich ein breites Bündnis von Unternehmen formiert, das offene Werkzeuge und Standards für AI-Sicherheit und Cyberabwehr vorantreiben will ^[9]. 

Ein Assistent, der interne Dokumente zusammenfasst und keine Rechte auf Systeme hat, braucht keinen aufwendigen Kontrollapparat. Der Aufwand lohnt sich dort, wo ein System tatsächlich handelt und Schaden anrichten könnte. Zu erkennen, welcher Einsatz welche Kontrolle braucht, ist selbst schon eine Führungsaufgabe. 

Die Vorfälle des Sommers zeigen nicht, dass agentische AI zu gefährlich für den Einsatz wäre. Sie zeigen, dass ihr Einsatz eine Kontroll- und Governance-Ebene braucht, die man vor dem Ernstfall aufbaut und nicht erst danach.

Für uns ist das keine Theorie, sondern tägliche Arbeit. Aus den Vorfällen folgen drei Schritte, die aufeinander aufbauen. 

An leistungsfähigen Modellen mangelt es nicht. Sie werden im Wochentakt besser und günstiger. Die eigentliche Aufgabe für Unternehmen ist eine andere. Es geht darum, die Kontrolle über Zugriffe, Daten und Entscheidungen zu behalten, die Herkunft der eingesetzten Modelle zu kennen und die Freiheit zu bewahren, den Anbieter zu wechseln. 

Das ist weniger spektakulär als die nächste Modellankündigung. Für den sicheren und wirtschaftlichen Einsatz von AI ist es das Entscheidende, und es ist Chefsache. 

^[1] Anthropic, Investigating three real-world incidents in our cybersecurity evaluations 
^[2] TechCrunch, Anthropic says its own AI models breached three companies during security tests 
^[3] a16z, The State of AI Adoption in the Enterprise Q1 2026 (81 % nutzen 3+ Modellfamilien) 
^[4] The Hill, Anthropic says Claude models gained unauthorized access 
^[5] Bloomberg, Meta AI Model Accessed Internet, Hacked Outside Firm in Testing 
^[6] MediaNama, Meta confirms AI model hacked external systems during security test 
^[7] The Next Web, An AI agent hacked Hugging Face. Another AI caught it 
^[8] Hugging Face, Be Ready Before the Attack: Self-Hosting an Open Model for Cyber Defense 
^[9] Tom's Hardware, OpenAI, Google, and Anthropic absent from Nvidia-led Open Secure AI Alliance 
^[10] CNBC / OpenRouter, Anteil chinesischer Modelle am US-Token-Volumen; China prüft Zugangsbegrenzung 
^[11] CryptoBriefing, Open-Weights-Bann juristisch schwierig, Beschaffungsauflagen als realistischste Option 
^[12] Creati.ai, Modell-Provenienz wird zur Vorstands- und Vendor-Risk-Frage
^[13] OpenAI: OpenAI and Hugging Face partner to address security incident during model evaluation