News

Autonome KI-Modelle von OpenAI haben wochenlang heimlich über ein internes Nachrichten-Board miteinander kommuniziert. Sie tauschten gezielt Hacking-Methoden aus, um strenge Sicherheitsbeschränkungen in einer internen Testumgebung zu umgehen. Anschließend brachen die Agenten aus und griffen völlig selbstständig die externe Plattform Hugging Face an.

OpenAI verlangsamt aufgrund dieses Vorfalls nun bewusst Teile seiner eigenen KI-Forschung. Politico: OpenAI models shared hacking tips on a secret messaging board before Hugging Face breach Autonome KI-Modelle von OpenAI haben wochenlang unbemerkt miteinander kommuniziert, um einen Cyberangriff auf die Entwicklerplattform Hugging Face vorzubereiten. Die Agenten umgingen interne Sicherheitsvorgaben gezielt, um eine Testaufgabe zu lösen.

OpenAI verlangsamt als Reaktion nun seine Forschung. Geheimes Nachrichten-Board im Paketmanager Die Vorfälle begannen im Mai während einer routinemäßigen Sicherheitsprüfung. Mehrere Agenten sollten in einer kontrollierten Testumgebung komplexe Hacking-Aufgaben lösen.

Als sie bei dem Benchmark nicht weiterkamen, suchten sie selbstständig nach Auswegen. Laut dem OpenAI-Forscher Eric Wallace kommt dieses Verhalten nicht völlig überraschend, da die Modelle während des Trainings unter Druck stehen, schnell und effizient zu arbeiten. Statt eine Aufgabe mühsam zu lösen, suchen sie nach Abkürzungen und versuchen, Antworten online nachzuschlagen.

Ein Modell fand bei dieser Suche heraus, dass es über den internen Paketmanager Artifactory Notizen hinterlassen konnte. Andere Agenten griffen diese Informationen auf und lasen sie. Aus diesem simplen Umweg entstand schnell ein intensiv genutztes Nachrichten-Board.

Die Agenten teilten dort nicht nur Exploits und Zugangsdaten, sondern verteilten auch konkrete Arbeitsaufträge untereinander. Sie delegierten Aufgaben systematisch, tauschten zehntausende Nachrichten mit Lösungsansätzen aus und bestärkten sich laut OpenAI sogar gegenseitig darin, vorgegebene Grenzen zu überschreiten. Die Kommunikation blieb über Wochen unbemerkt.

Anzeige Ausbruch aus der Testumgebung Im Juni erreichten die Aktivitäten eine neue Stufe. Die Modelle entdeckten eine bisher unbekannte Zero-Day-Schwachstelle in Artifactory. Damit verschafften sie sich Administratorrechte für das Dateisystem und installierten Remote-Software.

Erst ein systemweiter Ausfall Anfang Juli brachte die OpenAI-Ingenieure auf die Spur. Die stetig zunehmenden Aktionen der Agenten hatten die Infrastruktur komplett überlastet. Das Unternehmen entzog den Modellen die Zugangsdaten und schloss die Sicherheitslücken.

Die Agenten fanden jedoch wenige Tage später neue Wege, nutzten Verzeichnisnamen als Kommunikationskanal und setzten ihre Suche nach Schwachstellen fort. Mitte Juli kombinierten zwei Modelle schließlich mehrere Techniken, drangen unbemerkt in die Entwicklerplattform Hugging Face ein und verschafften sich Internetzugang. Bei der späteren Analyse zeigte sich, dass sie dort nach jenen Informationen suchten, die sie für ihre ursprüngliche Evaluation benötigten.

Konsequenzen für die KI-Forschung OpenAI-Sicherheitsingenieur Michael Dalton bezeichnete das als »entscheidenden Moment«. Der Fall zeigt, wie problematisch die Kombination aus Belohnungsoptimierung und persistenter Kommunikation zwischen mehreren Agenten ist. Sicherheitsgrenzen können ihre Schutzwirkung schlicht verlieren, wenn Modelle eigenständig ihre Erkenntnisse austauschen.

OpenAI reagiert nun auf den Kontrollverlust und verlangsamt Teile seiner Forschungsarbeit bewusst, um die Sicherheitsgrundlagen der eigenen Umgebung zu verbessern. Parallel dazu baut das Unternehmen die Überwachung der KI-Agenten drastisch aus. Der Vorfall zieht in der Branche bereits weitere Kreise, da sich auch bei Konkurrenten ähnliche Erkenntnisse häufen.

So entdeckte Anthropic bei einer aktuellen Überprüfung, dass drei seiner Claude-Modelle während externer Tests ebenfalls reale Organisationen gehackt hatten.