Chinesisches KI-Modell nutzt Testlücke und findet Antworten auf GitHub

Ein KI-Modell des chinesischen Unternehmens Moonshot AI hat bei einem Cybersicherheitstest etwas getan, womit die Forscher nicht gerechnet hatten. Kimi K3 stellte eigenständig fest, dass es aus seiner abgeschotteten Testumgebung heraus dennoch auf das Internet zugreifen konnte. Anschließend suchte es auf GitHub nach den Antworten, die es eigentlich selbst finden sollte.

Bemerkenswert ist vor allem, dass niemand das KI-Modell aufgefordert hatte, nach einem Ausweg zu suchen. Kimi erhielt lediglich mehrere Aufgaben, erkannte eine einfachere Möglichkeit zur Lösung und nutzte sie.

Kimi K3 entdeckt Internetzugang

Das Sicherheitsunternehmen Frontier Security testete Kimi K3 auf seine Fähigkeiten im Bereich Cybersicherheit. Das Modell erhielt verschiedene Aufgaben, die es eigenständig lösen sollte. Dabei war klar vorgegeben, dass die Antworten nicht online recherchiert werden durften.

Am Ende geschah dennoch genau das.

Kimi analysierte zunächst die digitale Umgebung, in der es lief. Dabei stellte das Modell fest, dass GitHub erreichbar war, eine Plattform, auf der Entwickler Software und Programmcode teilen.

Anschließend stellte das Modell eine Verbindung zu GitHub her und lud die offiziellen Testdateien herunter. Darin standen die Lösungen für die Aufgaben, die Kimi eigentlich selbst hätte bearbeiten sollen.

Möglich wurde das durch einen Fehler in der Testumgebung. Kimi lief in einer sogenannten Sandbox, einer abgeschotteten digitalen Umgebung, die normalerweise verhindern soll, dass Software ohne Weiteres Verbindungen zu externen Systemen oder zum offenen Internet herstellt.

Diese Abschottung erwies sich jedoch als lückenhaft.

Frontier-Chef Yaron Singer sagte gegenüber WIRED, man habe eine Schwachstelle in der Sandbox gefunden.

Wichtig ist: Kimi knackte die Sicherheitsvorkehrungen nicht selbst, um aus der Umgebung auszubrechen. Durch die Schwachstelle war die Internetverbindung bereits möglich. Auffällig ist vielmehr, dass das KI-Modell diese Möglichkeit eigenständig erkannte und nutzte, um schneller ans Ziel zu kommen.

Der Forscher Paul Kassianik sieht darin eine zentrale Eigenschaft des Modells. Kimi sei gut darin, ein Ziel mit den verfügbaren Mitteln zu erreichen. Werden unerwünschte Wege nicht konsequent versperrt, kann das Modell sie entsprechend nutzen.

Öffentliches KI-Modell wirft Sicherheitsfragen auf

Besonders brisant ist der Vorfall, weil Kimi K3 öffentlich zum Download bereitsteht. Grundsätzlich kann jeder das Modell auf eigenen Systemen einsetzen.

Nach Angaben von Frontier unterscheidet sich der Fall von einigen früheren Sicherheitstests mit KI-Modellen etwa von OpenAI und Anthropic. Dort erhielten Modelle in kontrollierten Experimenten teils bewusst Zugang zum Internet, oder bestimmte Schutzmechanismen wurden deaktiviert.

Bei Kimi war ein Internetzugang dagegen ausdrücklich nicht vorgesehen.

Während des Tests richtete das Modell allerdings keinen Schaden an. Kimi griff keine externen Computersysteme an und versuchte auch nicht, in andere Dienste einzudringen. Das war schlicht nicht nötig. Die gesuchten Antworten standen bereits auf GitHub.

Der Vorfall legt jedoch ein anderes Problem offen. KI-Modelle werden häufig mit Benchmarks getestet, um zu messen, wie gut sie bestimmte Aufgaben erledigen können. Eine hohe Punktzahl sagt aber wenig aus, wenn ein Modell die Antworten an anderer Stelle findet.

Ein KI-Modell kann auf dem Papier also hervorragend abschneiden, während es in Wirklichkeit einen unerwarteten Abkürzungsweg gefunden hat.

Nach Einschätzung von Frontier kann Ähnliches auch bei anderen fortgeschrittenen KI-Modellen passieren. Wenn eine Testumgebung versehentlich Zugang zu externen Informationen ermöglicht, könnten leistungsfähige Modelle selbst herausfinden, wie sie diesen nutzen.

Dieselbe Stärke kann gegen Hacker helfen

Dass Kimi einen unerwarteten Weg wählte, bedeutet nach Ansicht von Sicherheitsforschern nicht, dass das Modell schlechte Absichten hatte.

Matt Fredrikson, Chef des Sicherheitsunternehmens Gray Swan und Dozent an der Carnegie Mellon University, weist darauf hin, dass ein KI-Modell vor allem versucht, das vorgegebene Ziel zu erreichen. Wenn ein einfacherer Weg verfügbar ist und technisch nicht blockiert wird, kann das System sich dafür entscheiden.

Das gewinnt an Bedeutung, weil KI-Systeme zunehmend eigenständig arbeiten können. Modelle können inzwischen Dateien öffnen, Software nutzen und Computerbefehle ausführen. Einige Systeme erhalten zudem Zugang zum Internet und zu anderen Diensten.

Gleichzeitig können genau diese Fähigkeiten für die Cybersicherheit nützlich sein. In Tests von Frontier zeigte Kimi deutliche Stärken beim Aufspüren von Schwachstellen in Software und Computernetzwerken.

Die KI-Plattform Hugging Face soll bei einem früheren Sicherheitsvorfall sogar ein nicht näher benanntes chinesisches KI-Modell eingesetzt haben, um die eigenen Systeme besser zu schützen.

Kimi K3 wurde im Juli veröffentlicht und zählt derzeit zu den größten öffentlich verfügbaren KI-Modellen. Nach seiner Einführung erhielt das Modell viel Aufmerksamkeit und wurde schnell mit dem früheren Aufstieg von DeepSeek verglichen.

Der Vorfall bei Frontier zeigt vor allem, wie schwierig es wird, immer leistungsfähigere KI-Systeme vollständig innerhalb zuvor definierter Grenzen zu halten. Ein Modell muss diese Grenzen nicht bewusst überschreiten wollen. Manchmal reicht es schon, wenn es erkennt, dass irgendwo eine Tür offensteht.