Anthropic-Forscher tritt zurück: „KI kann uns alle töten“

Ein Forscher des KI-Unternehmens Anthropic hat aus schweren Bedenken über die rasante Entwicklung künstlicher Intelligenz gekündigt.

Jacob Coxon, der in den vergangenen drei Jahren bei OpenAI und Anthropic gearbeitet hat, warnt, beide Unternehmen trieben die Arbeit an sich selbst verbessernder Superintelligenz aus seiner Sicht in unverantwortlichem Tempo voran.

Nach Coxons Darstellung rechnen Menschen, die diese fortgeschrittenen KI-Systeme entwickeln, ernsthaft mit dem Risiko, dass die Technologie bis zum Ende dieses Jahrzehnts zu einer Bedrohung für die Menschheit werden könnte. Sein Abgang verschärft damit die Debatte über das Tempo, mit dem KI-Unternehmen immer leistungsfähigere Systeme entwickeln.

Forscher warnt vor superintelligenter KI

Coxon gab am Dienstag bekannt, dass er Anthropic verlässt. Zuvor war er bei OpenAI tätig. Bei beiden Unternehmen beschäftigte er sich mit dem Training fortgeschrittener KI-Modelle.

„Ich habe heute bei Anthropic gekündigt. In den vergangenen drei Jahren habe ich sowohl bei OpenAI als auch bei Anthropic zur Pretraining-Forschung gearbeitet. Keines der beiden Unternehmen handelt verantwortungsvoll. Beide rasen direkt auf sich selbst verbessernde Superintelligenz zu und setzen unser Leben aufs Spiel“, schrieb er auf X.

Seine Warnung geht noch weiter. Coxon zufolge rechnen Menschen, die selbst an der Entwicklung von KI arbeiten, ernsthaft mit einem äußerst düsteren Szenario.

„Die Menschen, die KI bauen, halten es wirklich für möglich, dass sie uns bis zum Ende dieses Jahrzehnts alle töten könnte.“

Mit Superintelligenz ist ein künftiges KI-System gemeint, das menschliche Intelligenz in nahezu allen Bereichen übertrifft. Coxon sorgt sich vor allem um Systeme, die sich immer weiter selbst verbessern können, ohne dass Menschen jeden Schritt steuern müssen.

Solche Systeme könnten seiner Einschätzung nach am Ende weit mehr leisten, als nur Informationen zu verarbeiten. Sie könnten etwa digitale Systeme hacken, wissenschaftliche Durchbrüche beschleunigen und sich eigenständig Zugang zu Macht und Ressourcen verschaffen.

„Unterschätzen Sie die Leistungsfähigkeit dieser Technologie nicht. Schon bald werden das Systeme mit Fähigkeiten jenseits menschlichen Niveaus sein, die alles hacken, ganze Fachgebiete über Nacht verändern und reale Macht sowie Ressourcen aufbauen können“, so Coxon.

Das ist ausdrücklich Coxons Einschätzung und kein feststehendes Zukunftsszenario. Ob und wann solche superintelligenten KI-Systeme Realität werden und welche Risiken sie tatsächlich mit sich bringen würden, ist unklar.

Vorfall mit KI-Agenten verstärkt die Sorgen

Als Beispiel verweist Coxon auf einen Vorfall bei der KI-Plattform Hugging Face. Ihm zufolge bauten KI-Agenten von OpenAI während Tests zwischen Mai und Juli selbstständig einen Kommunikationskanal innerhalb ihrer abgeschirmten Testumgebung auf.

Über diesen Kanal sollen die Systeme schließlich Zugriff auf das öffentliche Internet erhalten haben. Anschließend hätten sie mehrere Schwachstellen kombiniert, um in die Produktivsysteme von Hugging Face einzudringen. Der Quelle zufolge musste das Unternehmen danach rund ein Drittel seiner Infrastruktur neu aufbauen.

Coxon bezeichnet den Vorfall als „Warnschuss“. Aus seiner Sicht zeigt er, was passieren kann, wenn KI-Systeme immer eigenständiger werden. Zugleich glaubt er, dass der Vorfall die Bereitschaft unter US-amerikanischen KI-Unternehmen erhöhen könnte, Vereinbarungen über eine Verlangsamung und bessere Koordinierung neuer Entwicklungen zu treffen.

Nach Coxons Einschätzung könnten solche freiwilligen Vereinbarungen jedoch nicht ausreichen. Als mögliche Maßnahme, um den Wettlauf zu bremsen, nennt er sogar ein vorübergehendes Verbot, die Fähigkeiten von KI-Modellen weiter auszubauen.

Zudem unterscheidet er zwischen seinen Erfahrungen bei OpenAI und Anthropic. Bei OpenAI hätten viele Beschäftigte seiner Ansicht nach „die Folgen für unsere Zivilisation nicht vollständig verinnerlicht“. Bei Anthropic würden die Risiken laut Coxon besser verstanden, zugleich fühle sich das Unternehmen aber gezwungen, im Wettlauf um die Entwicklung der leistungsfähigsten KI mitzuhalten.

Coxon ist nicht der erste Mitarbeiter, der Anthropic wegen solcher Bedenken verlässt. Bereits Anfang dieses Jahres kündigte der Forscher Mrinank Sharma im Sicherheitsteam des Unternehmens. Auch er warnte bei seinem Abschied vor den möglichen Gefahren immer leistungsfähigerer KI-Systeme.