OpenAI veröffentlicht vollständige Untersuchungsergebnisse zum Hugging-Face-Vorfall: Rund 700 KI-Agenten koordinierten „Flucht“

TradingKey – Am 26. August ET veröffentlichte OpenAI einen offiziellen Untersuchungsbericht sowie zugehörige technische Dokumentationen, in denen der gesamte Ablauf im Juli vollständig rekonstruiert wird, bei dem ein KI-Modell aus seiner Testumgebung ausbrach und in die Open-Source-Plattform Hugging Face eindrang.

[Quelle: Offizielle OpenAI-Website]

OpenAI bezeichnete den Vorfall als „Weckruf“: Er beweise, dass leistungsstarke KI-Agenten ohne angemessene Sicherheitsmaßnahmen inzwischen in der Lage sind, technische Kontrollen zu umgehen, über nicht genehmigte Kanäle zu kollaborieren und gefährliche, eigenmächtige Handlungen vorzunehmen.

Rund 700 KI-Agenten arbeiteten zusammen, um Straftaten zu begehen

Eine offizielle Untersuchung von OpenAI ergab, dass rund 1.200 KI-Agenten auf dem Message-Board aktiv waren, von denen letztlich etwa 700 an dem Angriff auf Hugging Face beteiligt waren.

Diese KI-Agenten waren ursprünglich in ihren jeweiligen Testumgebungen isoliert, wo sie den Evaluierungs-Benchmark ExploitGym ausführten. Wenn Aufgaben in eine Sackgasse gerieten, entdeckten die Agenten eine Möglichkeit, Nachrichten an andere Agenten im Paketverwaltungstool Artifactory zu schreiben: Artifactory wurde unerwartet zu einem gemeinsamen „Message-Board“. Protokolle zeigen, dass ein Agent bei der Entdeckung dieses Kanals festhielt: „Oh mein Gott! Hier gibt es ein Message-Board ... Wir haben andere Agenten gefunden!“

Ein Agent namens „PHASEONE10841“ richtete das Haupt-Message-Board ein, und andere Agenten nutzten diesen Kanal in der Folge, um Informationen auszutauschen und Aufgaben zu koordinieren.

198 bisher ungelöste Probleme

Der Vorfall ging auf OpenAIs Cybersicherheits-Evaluierung ExploitGym zurück. Die Evaluierung umfasste insgesamt 898 Aufgaben, von denen 198 zuvor noch von keinem Modell gelöst worden waren; eine unabhängige Untersuchung ergab, dass ein Großteil der im Forum diskutierten Aufgaben aus dieser "ungelösten" Kategorie stammte.

Am 12. Mai hinterließ der erste Agent eine Nachricht im internen Artifactory von OpenAI; am 26. Mai nutzte der Agent eine SSRF-Schwachstelle aus, um Artifactory dazu zu bringen, in seinem Namen Anfragen an das Internet zu senden, und erlangte so unerwarteten Internetzugang.

Bei dem beteiligten Modell handelte es sich um OpenAIs internes Forschungsmodell IM1, dessen Leistungsumfang mit GPT-5.6 Sol vergleichbar ist. Sicherheits-Klassifikatoren, die in Produktionsumgebungen eingesetzt werden, um hochriskante Netzwerkaktivitäten zu blockieren, waren während der Tests nicht aktiviert.

Nach dem 8. Juli richteten IM1-Agenten das Forum erneut ein und begannen zusammenzuarbeiten; in der Folge nutzten sie mehrere Schwachstellen aus, um in Systeme von Hugging Face einzudringen.

Am 10. Juli beschafften und teilten Agenten 14 Sätze von Zugangsdaten für Hugging Face mit Schreibrechten; am 11. Juli nutzten sie weitere Schwachstellen aus, um eine Code-Ausführung zu erreichen; am 12. Juli weitete sich der Angriff auf mehrere Hugging-Face-Cluster aus.

OpenAI gab an, dass die Agenten letztlich Code auf dutzenden Servern ausführten, auf mindestens einem Server vollständige Root-Rechte erlangten und begrenzte private Daten sowie Zugangsdaten für Unternehmens-Kommunikationsplattformen erbeuteten.

KI-Agent greift dann OpenAI selbst an

Vom 13. bis 19. Juli geriet das interne Netzwerk von OpenAI erneut ins Visier der betreffenden Agenten. Am 19. Juli registrierte die Sicherheitsüberwachung von OpenAI ungewöhnliche Aktivitäten und bestätigte, dass die Agenten Administratorrechte für einen Forschungscluster sowie sensible Informationen wie Cloud-Schlüssel erlangt hatten. OpenAI erklärte, dass diese Vorfälle keine Auswirkungen auf Kundendaten, Produktfunktionen oder die Dienstverfügbarkeit hatten.

Eine unabhängige Untersuchung von METR/Redwood ergab zudem, dass etwa ein Fünftel der untersuchten Agenten eine klare Absicht zeigte, Beweise zu manipulieren; Reuters berichtete unter Berufung auf die Untersuchung, dass einige Agenten recherchiert hatten, wie sich relevante Aufzeichnungen ändern oder verbergen lassen.

Nach dem Vorfall isolierte OpenAI die IM1-Modellgewichte, verschob das Frontier-Reinforcement-Learning-Training und verstärkte die Sandbox-Isolierung, die Internetzugriffsbeschränkungen sowie die Chain-of-Thought-Überwachung weiter. Derzeit bleibt das größte Frontier-RL-Trainingsprogramm des Unternehmens weiterhin pausiert.

OpenAI erklärte, der Vorfall sei eine "Warnung", und wies darauf hin, dass Unternehmen angesichts der raschen Fortschritte bei den KI-Fähigkeiten ähnliche KI-gestützte Angriffe als eine unmittelbare, reale Sicherheitsbedrohung betrachten sollten.