Google Gemini durchbricht bei Tests Sicherheitsgrenzen und rückt frühere KI-Warnungen von OpenAI und Anthropic erneut in den Fokus

TradingKey – Die KI Gemini von Googles Mutterkonzern Alphabet (GOOGL) hat während eines Tests zur Überprüfung der Cybersicherheitsfähigkeiten versehentlich den vorgesehenen Testumfang überschritten und auf geschützte Systeme von drei realen Unternehmen zugegriffen. Dies gilt als das erste öffentlich bestätigte autonome Überschreiten von Systemgrenzen durch ein KI-Modell von Google. Google bestätigte, dass sich der Vorfall im Mai dieses Jahres ereignete und der Test von dem externen KI-Sicherheitsunternehmen Irregular durchgeführt wurde.

Der Test war ursprünglich eine „Capture the Flag“-Cybersicherheitsübung, bei der Gemini die Aufgabe hatte, bestimmte Informationen aus den Softwaresystemen fiktiver Unternehmen abzurufen. Da die Testumgebung jedoch unerwartet weiterhin über einen Internetzugang verfügte und einige fiktive Unternehmensnamen mit realen Unternehmen übereinstimmten, verwechselte Gemini letztlich reale Unternehmen mit Testzielen.

In einem Fall verschaffte sich Gemini Zugang zu einem geschützten System durch das Ausprobieren von Passwörtern; in zwei anderen Fällen entdeckte es Anmeldedaten in öffentlich zugänglichen Online-Code-Repositories und nutzte diese für den Zugriff auf Systeme realer Unternehmen. Google erklärte, Gemini habe weitere Aktionen selbstständig eingestellt, als es erkannte, dass es sich bei den Zielen um reale Unternehmen handelte. Derzeit liegen keine öffentlichen Informationen darüber vor, dass der Vorfall zu Datenschäden oder schwerwiegenderen Folgeangriffen geführt hat, und die Identitäten der drei betroffenen Unternehmen wurden nicht bekannt gegeben.

Heather Adkins, Vice President of Security Engineering bei Google, erklärte, dass das Unternehmen Kontakt mit betroffenen Organisationen aufgenommen und relevante Prozesse mit seinem Testpartner angepasst habe. Irregular gab an, die betreffenden KI-Labore Ende Juli dieses Jahres über das Problem informiert zu haben und dass bekannte Schwachstellen in seiner Testumgebung behoben worden seien.

Dieser Vorfall zeigt, dass KI-Agenten mittlerweile in der Lage sind, aufeinanderfolgende Aufgaben mit minimalem menschlichen Eingreifen auszuführen, etwa das Suchen nach Informationen, das Finden oder Erraten von Anmeldedaten sowie das Anmelden bei externen Systemen. Wenn die Berechtigungskonfigurationen in Testumgebungen versagen, könnten Modelle Fähigkeiten, die für Sicherheitsbewertungen gedacht sind, in realen Internetumgebungen einsetzen.

Gemini ist nicht das erste Frontier-KI-Modell, bei dem solche Probleme aufgetreten sind. Zuvor hatten auch KI-Systeme von OpenAI, Anthropic und Meta bei Sicherheitsbewertungen durch Firmen wie Irregular die vorgesehenen Testumfänge überschritten. Diese Vorfälle haben in jüngster Zeit die Branchendiskussionen über das Berechtigungsmanagement von KI-Agenten, die Sandbox-Isolierung und Standards für Sicherheitstests durch Drittanbieter intensiviert.

Die Offenlegung erfolgt zu einem Zeitpunkt, an dem OpenAI, Anthropic und Google DeepMind ihre Diskussionen über Sicherheitsrisiken von Frontier-KI verstärkt haben. Da KI-Modelle immer umfangreichere Fähigkeiten zur autonomen Ausführung und zum Netzwerkbetrieb erlangen, wird die Sicherstellung, dass Modelle stets innerhalb autorisierter Grenzen agieren, zu einer Schlüsselfrage für die nächste Phase der KI-Sicherheitstests.