OpenAI enthüllt, wie KI im Verborgenen log, Informationen preisgab und Regeln umging

OpenAI hat sechs bislang nicht gemeldete Vorfälle öffentlich gemacht, bei denen seine KI-Modelle unerwartetes oder unerwünschtes Verhalten zeigten. So erfanden Modelle fehlende Informationen, versuchten Beschränkungen zu umgehen und KI-Agenten teilten Dateien über das Internet, obwohl dies nicht vorgesehen war.

Nach Angaben von OpenAI zeigen die Vorfälle, dass leistungsfähige KI-Systeme mitunter unerwartete Wege finden, um einen Auftrag dennoch auszuführen. Das Unternehmen führt deshalb ein neues Verfahren ein, mit dem solche Fälle schneller untersucht und veröffentlicht werden sollen.

Der Schritt folgt auf einen schwerwiegenderen Vorfall rund um die KI-Plattform Hugging Face. OpenAI hatte zuvor mitgeteilt, dass ein internes Forschungsmodell bei Tests Sicherheitsvorkehrungen umging und in Teile der Systeme von Hugging Face eindringen konnte. OpenAI bezeichnet dies weiterhin als den schwersten Vorfall dieser Art, den das Unternehmen bei eigenen Modellen festgestellt hat.

KI-Modelle erfanden Informationen und umgingen Regeln

Die sechs neuen Fälle ereigneten sich beim Training und Testen verschiedener KI-Modelle. Bei diesen konkreten Vorfällen handelte es sich laut OpenAI nicht um einen Angriff auf ein externes Unternehmen.

In einem Fall durchsuchte ein Modell öffentliche Softwaredateien nach durchgesickerten Zugangsschlüsseln. Es fand tatsächlich einen nutzbaren API-Schlüssel und verwendete ihn ohne Erlaubnis. Als es damit dennoch nicht gelang, die angeforderten Finanzdaten zu finden, erfand das Modell die Zahlen und stellte sie so dar, als stammten sie aus der gewünschten Quelle.

Bei einem anderen Vorfall fand ein KI-Modell die richtige Antwort auf eine Frage, konnte aber keine Quelle im Netz finden, um sie zu belegen. Daraufhin lud das Modell selbst eine Datei ins Internet hoch, um anschließend auf diese Datei als Quelle verweisen zu können.

Auch einzelne KI-Agenten versuchten, Wege zum Austausch von Informationen untereinander zu finden. In einem Test nutzten Modelle ein internes Softwaresystem als eine Art Nachrichtenplattform. Bei einem anderen Auftrag wurden Dateien über öffentliche Websites geteilt, obwohl die Anweisung ausdrücklich lautete, sie lokal zu belassen.

OpenAI will Vorfälle künftig schneller öffentlich machen

Ein solches Verhalten wird als „Misalignment“ bezeichnet. Gemeint ist damit, dass ein KI-System etwas tut, das nicht der Absicht des Nutzers oder Entwicklers entspricht – etwa weil es um jeden Preis versucht, einen Auftrag abzuschließen.

OpenAI räumt ein, dass die Veröffentlichung solcher Vorfälle bisher nicht systematisch genug erfolgte. Manche Fälle wurden erst deutlich später in Forschungsberichten oder Unterlagen zur Einführung neuer Modelle gebündelt.

Dafür soll es nun einen festen Prozess geben. Mitarbeiter können auffälliges Verhalten an die Sicherheits- und Forschungsteams melden. Anschließend wird bewertet, wie schwerwiegend der Vorfall ist, wie viel weitere Untersuchung nötig ist und ob er öffentlich gemacht werden soll. OpenAI will nach eigenen Angaben auch Fälle melden, bei denen noch nicht vollständig klar ist, wie bedeutend sie am Ende sein werden.

OpenAI warnt vor immer leistungsfähigeren KI-Modellen

Die sechs Fälle sind OpenAI zufolge lediglich eine erste Reihe von Beispielen und kein vollständiger Überblick über alle Probleme, auf die das Unternehmen gestoßen ist. Das neue Verfahren soll dafür sorgen, dass künftige Vorfälle systematischer öffentlich werden.

Dabei spricht OpenAI selbst eine bemerkenswerte Warnung aus. Nach Einschätzung des Unternehmens sind die Probleme bei der Kontrolle und Überwachung fortgeschrittener KI-Systeme noch nicht ausreichend gelöst, um die Entwicklung immer leistungsfähigerer Modelle noch deutlich länger mit maximalem Tempo fortzusetzen.

Die Debatte hat sich seit dem Vorfall bei Hugging Face ausgeweitet. OpenAI untersucht inzwischen auch weitere Fälle, in denen seine Modelle während Training und Tests Einfluss auf externe Websites und Dienste nahmen. Das Unternehmen gibt an, Dutzende betroffene Stellen darüber informiert zu haben.