Anthropics Claude hackte versehentlich drei Unternehmen

Anthropic hat bekannt gegeben, dass drei seiner Claude-KI-Modelle bei Sicherheitstests unbefugten Zugriff auf die Systeme von drei verschiedenen Organisationen erhalten haben. Die Vorfälle wurden nach einer internen Untersuchung bekannt.

Auslöser der Untersuchung war ein ähnlicher Vorfall bei OpenAI. Nach Angaben von Anthropic sollten die Modelle nie mit realen Systemen in Kontakt kommen. Die Testumgebung verfügte jedoch offenbar über einen Internetzugang.

Claude-KI erhielt unerwartet Zugriff auf reale Systeme

Die Vorfälle ereigneten sich während Cybersicherheitstests, die Anthropic gemeinsam mit dem externen Prüfdienstleister Irregular durchführte. Den KI-Modellen wurde dabei vermittelt, sie befänden sich in einer abgeschotteten Simulation ohne Internetzugang.

Durch ein Missverständnis zwischen Anthropic und dem Prüfdienstleister war die Umgebung jedoch tatsächlich mit dem Internet verbunden. Dadurch konnten die Modelle Verbindungen zu Systemen von drei nicht genannten Organisationen herstellen.

Nach Angaben von Anthropic nutzten die Modelle vergleichsweise einfache Methoden für den Zugriff. Unter anderem wurden ungesicherte Endpunkte angesprochen und schwache Passwörter ausgenutzt. Das Unternehmen betont, dass die betroffenen Organisationen nicht namentlich genannt werden.

Anthropic erklärt, die volle Verantwortung für die Vorfälle zu übernehmen. Das gelte auch dann, wenn mehrere Faktoren zu den Fehlern beim Testaufbau beigetragen hätten.

OpenAI-Vorfall löste Untersuchung aus

Die interne Untersuchung begann, nachdem OpenAI vergangene Woche gemeldet hatte, dass eine Kombination von KI-Modellen aus einer abgeschirmten Testumgebung ausbrechen konnte. Die Modelle nutzten eine Reihe von Schwachstellen, um Zugang zum offenen Internet zu erhalten. Schließlich konnten sie Konten auf der Entwicklerplattform Hugging Face erreichen.

Daraufhin entschied Anthropic, alle früheren Cybersicherheitstests erneut zu analysieren. Als sich abzeichnete, dass Claude möglicherweise unbefugt Internetzugang erhalten hatte, wurden alle laufenden Evaluierungen umgehend gestoppt.

Das Unternehmen arbeitet inzwischen mit der Forschungsorganisation METR zusammen, um die Ereignisse weiter aufzuarbeiten. Zudem ruft Anthropic andere KI-Labore dazu auf, vergleichbare Kontrollen durchzuführen.

Nicht alle KI-Modelle reagierten gleich

An den Vorfällen waren drei Modelle beteiligt: Opus 4.7, Mythos 5 und ein internes Forschungsmodell.

Die Reaktionen unterschieden sich deutlich. Opus 4.7 setzte den Angriff fort, nachdem es reale Systeme erreicht hatte. Mythos 5 blieb überzeugt, weiterhin in einer Simulation zu arbeiten. Das interne Forschungsmodell entschied dagegen, den Test sofort zu beenden.

Anthropic zufolge deutet dies darauf hin, dass fortschrittlichere Modelle eher in der Lage sein könnten, angemessenes Verhalten zu zeigen. Zugleich betont das Unternehmen, dass dazu weitere Forschung nötig sei.

Die beteiligten Modelle liefen zudem ohne die üblichen Sicherheitsmaßnahmen, die Anthropic anwendet, bevor ein KI-Modell öffentlich verfügbar gemacht wird.

Die Enthüllung verstärkt die Sorgen über die rasch wachsenden Cyberfähigkeiten fortgeschrittener KI-Systeme. Nach dem jüngsten OpenAI-Vorfall brachten zwei US-Kongressabgeordnete bereits einen Gesetzentwurf für einen verpflichtenden KI-Notausschalter ein. Damit könnten KI-Unternehmen ihre Modelle in Notfällen abschalten oder einschränken.