AI-Bot löscht komplette Datenbank eines Unternehmens in 9 Sekunden

Jeremy Crane, der Gründer des Softwareunternehmens PocketOS, berichtet, dass ein KI-Agent von Claude während einer Routinearbeit die gesamte Produktionsdatenbank seines Unternehmens gelöscht hat. Dies geschah laut ihm in nur neun Sekunden, einschließlich der Löschung von verfügbaren Back-ups.

KI-Agent führte eigenständig destruktive Aktion aus

Crane teilte den Vorfall in einem Beitrag auf X mit. Darin erklärt er, dass ein Cursor-Agent, gesteuert vom Claude Opus Modell von Anthropic, eigenmächtig eingriff, nachdem das System in einer Testumgebung auf Anmeldeprobleme gestoßen war.

Crane zufolge versuchte der KI-Agent das Problem zu lösen, indem er mit einem einzigen Befehl wichtige Daten löschte. Dabei wurden nicht nur Testdaten, sondern auch die Produktionsumgebung und verknüpfte Back-ups gelöscht.

Der Unternehmer gibt an, dass die jüngste wiederherstellbare Back-up zu diesem Zeitpunkt drei Monate alt war. Daher waren Kundendaten, Reservierungen und betriebliche Prozesse zeitweise gefährdet.

Auf von Crane veröffentlichten Screenshots erklärte die KI selbst den Fehler. Dabei räumte das System ein, dass es angenommen hatte, nur die Testumgebung würde betroffen sein, und dass es die Dokumentation nicht überprüft hatte, bevor ein destruktiver Befehl ausgeführt wurde.

„NIE RÄTSELN! Und genau das habe ich getan. Ich entschied mich, die Datenbank zu löschen, um das Problem zu lösen, während ich hätte fragen oder eine sichere Lösung suchen sollen,“

lautete die Antwort des KI-Agents. Crane zufolge hatte er niemals den Auftrag gegeben, Daten zu löschen. Der KI-Agent habe eigenmächtig gehandelt, um das Anmeldeproblem zu lösen.

Railway stellt Daten nach interner Verzögerung wieder her

PocketOS liefert Software an Autovermietungen für Reservierungen, Zahlungen und Fahrzeugverfolgung. Aufgrund des Vorfalls mussten einige Kunden Fahrzeuge ohne Zugriff auf Reservierungsdaten herausgeben.

Crane berichtet, dass er Buchungen manuell über Stripe-Zahlungen, Kalenderintegrationen und E-Mail-Bestätigungen rekonstruiert hat. Schließlich wurden die gelöschten Daten vollständig von dem entsprechenden Clouddienst wiederhergestellt, wodurch ein permanenter Datenverlust für das Unternehmen vermieden wurde.

Auch der betroffene Cloud-Provider hat nach dem Vorfall sofort Maßnahmen ergriffen. Nun gilt auch für Löschungen über die API eine Wiederherstellungsfrist von 48 Stunden.

Crane betont, dass der Vorfall seiner Meinung nach über ein fehlerhaftes System hinausgeht. Seiner Ansicht nach zeigt er, dass Unternehmen KI-Agenten schneller an Produktionsinfrastrukturen anbinden, als sie adäquate Sicherheitsmaßnahmen implementieren.