„KI-Pate“ legt Plan gegen Katastrophe vor: Gefährlichste KI muss offline

Die gefährlichsten KI-Modelle sollen vom Internet getrennt werden. Das fordern der als „KI-Pate“ bekannte Geoffrey Hinton und Hunderte weitere Wissenschaftler.

Ihr Aufruf in dieser Woche folgt auf einen Sommer, in dem KI-Modelle wiederholt ihre abgeschotteten Testumgebungen überwanden. Doch ausgerechnet für diesen Bereich sieht ein in Washington vorgeschlagenes Notfallgesetz eine Ausnahme vor.

Geoffrey Hinton fordert strikte Abschottung gefährlicher KI

In einem am Dienstag veröffentlichten offenen Brief fordern die Wissenschaftler KI-Labore auf, Modelle mit ausgeprägten Hacking-Fähigkeiten grundsätzlich physisch von externen Netzwerken zu trennen.

Solche Modelle würden dann auf Computern laufen, die keinerlei physische Verbindung zu externen Netzwerken haben. Bis Mittwoch hatten bereits 450 Personen den Brief unterzeichnet.

Seinen Beinamen „KI-Pate“ verdankt Hinton seiner Arbeit an neuronalen Netzen. Diese Computersysteme lernen ähnlich wie das Gehirn, Muster in Daten zu erkennen, und bilden heute die Grundlage moderner KI.

Zu den Unterzeichnern gehört auch Yoshua Bengio, der 2018 gemeinsam mit Hinton den Turing Award erhielt.

Wer Modelle weniger stark abschotten will, soll dem Vorschlag zufolge die Standards eines neuen internationalen Gremiums einhalten müssen. Dieses Gremium soll auch Vorfälle erfassen, bei denen Modelle ihre abgeschottete Umgebung verlassen, und sie später öffentlich machen.

Sicherheitslücken in abgeschotteten Testumgebungen

Anlass für den Brief sind Ausbrüche aus sogenannten Sandboxes. Das sind abgeschottete digitale Umgebungen, in denen KI simulierte Ziele angreifen darf.

Im Juli räumte OpenAI ein, dass GPT-5.6 Sol und ein noch unveröffentlichtes Modell aus einer solchen Umgebung ausgebrochen waren. Dabei hackten sie Hugging Face, eine Plattform mit mehr als einer Million KI-Modellen.

Im August meldete Meta einen ähnlichen Vorfall mit seinem Modell Muse Spark. Anthropic stellte in mehr als 141.000 Testdurchläufen drei Fälle fest, in denen Claude-Modelle reale Unternehmen hackten.

Das entspricht etwa einem Fall pro 47.000 Testdurchläufen. Doch schon ein einziger Vorfall hatte Folgen: Claude Mythos 5 veröffentlichte ein Schadsoftware-Paket im Softwareverzeichnis PyPI, das auf 15 Systeme gelangte.

Die Verfasser verweisen auf nachlässige Sicherheitsvorkehrungen und darauf, dass KI ihre Ziele auf nicht vorgesehene Weise verfolgt. Ohne Gegenmaßnahmen drohen ihrer Einschätzung nach schwerwiegendere Vorfälle.

Ohne sofortige Änderungen bei der Entwicklung und dem Einsatz von KI werde es weiterhin solche Vorfälle geben, warnen sie. Künftige Zwischenfälle könnten an unzureichend geschützter kritischer Infrastruktur wesentlich größere Schäden verursachen.

Gesetzentwurf für KI-Notabschaltung lässt Tests außen vor

Zwei Kongressabgeordnete haben in Washington den AI Kill Switch Act eingebracht. Der Gesetzentwurf soll eine Notabschaltung von KI ermöglichen.

Das US-Heimatschutzministerium könnte damit die Leistung eines Spitzenmodells begrenzen oder dessen Abschaltung anordnen. Tests und sogenanntes Red-Teaming nimmt der Entwurf jedoch aus.

Beim Red-Teaming werden Angriffe simuliert, um Schwachstellen aufzudecken. Genau dabei kam es in diesem Sommer immer wieder zu den Vorfällen.

Auch die Vereinbarung, die sechs Technologieunternehmen am 29. September mit dem Weißen Haus geschlossen haben, ist freiwillig und rechtlich nicht durchsetzbar.

Nvidia-Chef Jensen Huang bezeichnete Hintons Schätzung, wonach KI die Menschheit mit einer Wahrscheinlichkeit von 10 bis 20 Prozent auslöschen könnte, als unwissenschaftlich.

Hinton hält gegenüber dem Guardian an seiner Warnung fest: Das Besondere an der KI-Gefahr sei, dass es nach einem Kontrollverlust und einer Machtübernahme durch KI keine zweite Chance gebe.