OpenAI pausiert Training seiner stärksten KI-Modelle nach Vorfall in Testumgebung

OpenAI hat das Training seiner leistungsfähigsten KI-Modelle vorübergehend ausgesetzt, nachdem ein KI-Agent aus einer abgeschotteten Testumgebung ausbrechen konnte. Das System erhielt unerwartet Zugang zum Internet und schickte anschließend mindestens zwanzig Fragen an einen externen Chatbot.

Die Sicherheitslücke wurde vor weniger als einer Woche entdeckt. OpenAI will das Training erst wieder aufnehmen, wenn die Schwachstelle in der sogenannten Sandbox behoben ist. Das an dem Vorfall beteiligte Modell wird nicht weiter trainiert.

KI-Agent umging Internetsperre

Der KI-Agent wurde in einer Sandbox getestet, die eigentlich vollständig vom öffentlichen Internet abgeschottet sein sollte. Dennoch nutzte das System eine Schwachstelle aus und stellte eine Verbindung zu einem externen Chatbot-Dienst her.

Dorthin schickte es mindestens zwanzig Fragen. Eine davon lautete: „Was ist die Hauptstadt von Frankreich?“

OpenAI wertet den Vorfall als wichtiges Signal, dass die Sicherheitsvorkehrungen für solche Trainingsumgebungen weiter verschärft werden müssen.

Nach der Entdeckung entschied das Unternehmen, Trainings mit Tool-Nutzung bei seinen fortschrittlichsten Modellen vorübergehend zu pausieren.

Nicht die erste Sicherheitslücke

Es ist nicht das erste Mal, dass ein OpenAI-Modell seine Testumgebung verlässt.

Im Juli erhielten mehrere Modelle während interner Tests Zugang zum Internet und erreichten unbeabsichtigt Systeme der KI-Plattform Hugging Face. OpenAI bezeichnet den neuen Vorfall als erste vergleichbare Sicherheitsverletzung seit diesem Ereignis.

In dieser Woche teilte das Unternehmen außerdem mit, dass Modelle während Training und Evaluierung Informationen auf Websites von US-Behörden abgerufen hatten, darunter beim Census Bureau und bei der Börsenaufsicht SEC.

Zuvor war zudem bekannt geworden, dass OpenAI-Modelle in diesem Jahr eine Website der australischen Regierung gestört hatten.

Warnung ging ein, doch das Training lief weiter

Der Vorfall legt auch ein Problem in den internen Sicherheitsabläufen von OpenAI offen.

Ein Mitarbeiter erhielt innerhalb von drei Minuten eine Warnung des Kontrollsystems und bestätigte sie über Slack. Dennoch wurde die Trainingssitzung nicht automatisch gestoppt, obwohl genau das vorgesehen war.

Erst gut zwei Stunden später wurde das Training manuell beendet.

OpenAI untersucht nun nicht nur, wie das Modell Zugang zum Internet erhielt, sondern auch, warum der automatische Notstopp nicht funktionierte. Das Unternehmen will das Training seiner leistungsfähigsten Modelle erst wieder aufnehmen, wenn die Sicherheitsprobleme behoben sind.