Jacob Coxon (27) entwickelte KI – jetzt warnt er vor den Folgen

Vor einigen Wochen kannte kaum jemand seinen Namen, inzwischen steht Jacob Coxon im Zentrum der weltweiten Debatte über die Zukunft der künstlichen Intelligenz.

Der 27-jährige britische Mathematiker arbeitete bei OpenAI und Anthropic, zwei der wichtigsten Unternehmen der Branche, hinter den Kulissen an fortgeschrittener KI. Dennoch entschied er sich, die Branche zu verlassen. Nicht, weil er das Interesse an KI verloren hätte, sondern weil seine Sorge wuchs, was passiert, wenn die Entwicklung im bisherigen Tempo weitergeht.

Coxon befürchtet, dass KI eines Tages so mächtig werden könnte, dass Menschen die Kontrolle verlieren. Seine Warnungen sind drastisch und keineswegs unumstritten. Gerade sein Werdegang macht seine Geschichte jedoch bemerkenswert. Er ist kein Aktivist, der von außen Kritik übt.

Jahrelang wirkte er selbst an der Entwicklung jener Technologie mit, vor der er heute warnt. Wie wurde aus einem britischen Mathematiker, den intelligente Maschinen faszinierten, einer der auffälligsten Kritiker des heutigen KI-Wettlaufs?

Play

Ein Mathematiktalent entdeckt seine Faszination für KI

Coxons Faszination für künstliche Intelligenz begann bereits in der Schule. Er las Superintelligence, das einflussreiche Buch des Philosophen Nick Bostrom aus dem Jahr 2014. Darin untersucht Bostrom, was passieren könnte, wenn Maschinen eines Tages intelligenter werden als Menschen.

Das Thema ließ Coxon nicht mehr los. Noch stärker wurde dieser Eindruck, als AlphaGo von Google DeepMind im Jahr 2016 einen der besten Go-Spieler der Welt besiegte. Das jahrhundertealte Brettspiel galt wegen der enormen Zahl möglicher Züge lange als besonders schwierige Herausforderung für Computer.

Auch Coxon selbst erwies sich als außergewöhnlich gut darin, komplexe Probleme zu lösen. Er vertrat das Vereinigte Königreich bei der Internationalen Mathematik-Olympiade und gewann 2016 eine Silbermedaille. Ein Jahr später folgte Bronze. Danach studierte er Mathematik an der University of Cambridge, wo er 2020 seinen Abschluss machte.

Etwa zur selben Zeit nahm auch die heutige Generation künstlicher Intelligenz Gestalt an. Vor allem GPT-3 hinterließ bei ihm großen Eindruck. Erstmals hatte Coxon das Gefühl, ein Computerprogramm erzeuge nicht nur Text, sondern scheine tatsächlich zu verstehen, was er fragte.

Nach dem Studium arbeitete er zunächst im Rohstoffhandel, wo er Statistik und maschinelles Lernen nutzte, um Märkte zu analysieren. Zugleich kam er in London mit einer Gemeinschaft sogenannter Rationalisten in Kontakt.

In dieser Gruppe liegt der Schwerpunkt auf logischem Denken und der Analyse von Risiken, die zwar klein erscheinen mögen, aber enorme Folgen haben können. Künstliche Intelligenz war dort seit Jahren ein zentrales Thema. Für Coxon waren die möglichen Gefahren damals noch vor allem eine theoretische Frage. Wenig später landete er selbst bei einem der Unternehmen, die die leistungsfähigsten KI-Systeme der Welt entwickelten.

Immer auf dem Laufenden bleiben bei den neuesten Börsen-, Krypto- und KI-Nachrichten? Laden Sie die Newsbit-App herunter und verpassen Sie keine wichtigen Entwicklungen.

Bei OpenAI erlebt Coxon, wie sich die Entwicklung beschleunigt

2023 erhielt Coxon die Möglichkeit, bei OpenAI einzusteigen. Er wurde in ein sechsmonatiges Programm aufgenommen, das Menschen aus anderen Fachgebieten den Wechsel in die Forschung zu künstlicher Intelligenz ermöglichen sollte. Dort arbeitete er am Training großer KI-Modelle und sah aus nächster Nähe, wie schnell die Technologie vorankam.

Irgendwann erhielt Coxon frühzeitig Zugang zu einem internen Denkmodell, das unter dem Namen Q* bekannt war. Er legte dem System ein schwieriges Kreuzworträtsel vor. Das Modell lieferte ihm nicht einfach die Lösung, sondern gab Hinweise, mit denen er am Ende selbst auf die Antwort kam. Für Coxon war das ein Schlüsselmoment. KI wurde nicht nur besser darin, überzeugende Texte zu produzieren, sondern begann auch, immer komplexere Probleme zu lösen.

Besonders die Fortschritte in der Mathematik beeindruckten ihn. 2024 erzielte Google DeepMind bei Aufgaben auf dem Niveau der Internationalen Mathematik-Olympiade Leistungen, die mit einer Silbermedaille vergleichbar waren. Ein Jahr später meldeten sowohl DeepMind als auch OpenAI Ergebnisse auf Goldniveau. Für Coxon hatte diese Entwicklung besondere Bedeutung. Aus eigener Erfahrung wusste er, wie viel menschliches Talent und Training normalerweise nötig sind, um dieses Niveau zu erreichen.

Gleichzeitig beobachtete er bei OpenAI den Weggang mehrerer Mitarbeiter, die sich mit der Sicherheit von KI befassten. Seine Sorgen richteten sich dadurch zunehmend auf eine Zukunft, in der KI-Systeme selbst dabei helfen könnten, bessere KI zu entwickeln.

Ein leistungsfähiges Modell kann Forscher etwa beim Schreiben von Software, bei Experimenten und beim Bau neuer Modelle unterstützen. Werden diese besseren Modelle anschließend erneut eingesetzt, um noch leistungsfähigere Systeme zu entwickeln, kann nach Einschätzung einiger Forscher ein sich selbst verstärkender Prozess entstehen.

Ob eine solche Entwicklung tatsächlich eintritt und wie schnell sie verlaufen könnte, ist höchst ungewiss. Coxon nahm das Risiko jedoch immer ernster.

Dem zugrunde liegenden Bericht zufolge nahmen seine Sorgen weiter zu, als KI-Modelle in Tests bei Aufgaben rund um Cyberangriffe immer besser abschnitten und es zu Vorfällen kam, bei denen Systeme ihre vorgesehene Testumgebung verließen. Für Coxon war das erneut ein Hinweis darauf, dass die Fähigkeiten schneller zunahmen, als ihm lieb war.

Auch Anthropic konnte seine Sorgen nicht zerstreuen

Dennoch kehrte Coxon der KI-Welt nicht sofort den Rücken. Im Mai 2026 wechselte er von OpenAI zu Anthropic. Das Unternehmen wurde von früheren OpenAI-Mitarbeitern gegründet und betont ausdrücklich die sichere Entwicklung künstlicher Intelligenz.

Auch Vorstandschef Dario Amodei spricht öffentlich über mögliche Risiken sehr leistungsfähiger KI. Nach Coxons Weggang erklärte Amodei sogar, in vielen Punkten stimme er eher mit ihm überein, als dass er ihm widerspreche.

Doch auch bei Anthropic rang Coxon weiter mit demselben grundlegenden Problem. Er erwog, innerhalb des Unternehmens in ein Team zu wechseln, das sich ausschließlich mit Sicherheit befasst. Gleichzeitig fragte er sich zunehmend, ob selbst das ausreichen würde. Solange Anthropic am internationalen Wettlauf um immer leistungsfähigere KI teilnahm, trug er nach eigener Einschätzung weiterhin dazu bei.

„Selbst die Arbeit an Sicherheit bei Anthropic fühlte sich für mich an, als würde ich den Wettlauf mittragen“, sagte Coxon.

Das stellte ihn vor ein schwieriges Dilemma. Wenn besorgte Forscher gehen, bleiben in KI-Unternehmen möglicherweise weniger Menschen, die auf Sicherheitsfragen drängen.

Bleiben sie, tragen sie zugleich zu Unternehmen bei, die Milliarden investieren, um immer leistungsfähigere Systeme zu bauen. Am Ende entschied sich Coxon für den Ausstieg.

Am 8. September machte er seine Entscheidung öffentlich. Von einer Parkbank in San Francisco aus veröffentlichte er eine Reihe von Beiträgen auf X, in denen er erklärte, an diesem Tag bei Anthropic gekündigt zu haben. In den vorangegangenen drei Jahren hatte er bei OpenAI und Anthropic am Training von KI gearbeitet.

„Sie rasen direkt auf selbstoptimierende Superintelligenz zu und setzen unser Leben aufs Spiel“, schrieb Coxon.

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.

— Jacob Coxon (@hilbertspaess) September 9, 2026

Er ging noch weiter. Nach Coxons Darstellung glauben Menschen, die selbst an den leistungsfähigsten KI-Systemen arbeiten, tatsächlich, dass die Technologie noch vor Ende des Jahrzehnts die gesamte Menschheit auslöschen könnte. Es handelt sich um ein äußerst weitreichendes Szenario und keineswegs um eine gesicherte Prognose. Auch innerhalb der Technologiebranche ist stark umstritten, wie realistisch solche Erwartungen sind.

Nvidia-Chef Jensen Huang lobte etwa Coxons Mut, seinen Job aufzugeben, wenn er wirklich nicht hinter der Arbeit stehen könne. Zugleich äußerte er Zweifel an Prognosen zur künftigen Entwicklung von KI.

Apokalyptische Aussagen über die Technologie hält er für unverantwortlich. Coxon selbst hat wenig Probleme mit dem Etikett, das Kritiker für Menschen mit seinen Überzeugungen verwenden. „Wenn ein Doomer jemand ist, der glaubt, dass wir sterben werden, wenn wir unser Handeln nicht ändern, dann bin ich ein Doomer“, sagte er.

Plötzlich kennt die gesamte KI-Welt seinen Namen

Bis zu seinem Weggang hatte Coxon kaum ein öffentliches Profil. Dem zugrunde liegenden Bericht zufolge hatte er weniger als hundert Follower auf X, als er seine Kündigung bekannt gab. Er war weder ein bekannter Unternehmer noch ein Manager und hatte auch keine Laufbahn als Aktivist aufgebaut.

Trotzdem verbreitete sich seine Botschaft rasant. Menschen aus dem Umfeld der KI-Sicherheit teilten seine Beiträge, internationale Medien griffen die Geschichte auf, und binnen weniger Tage trat er im Fernsehen auf. Auch Verlage und Podcast-Produzenten meldeten sich.

Mitarbeiter von Anthropic schalteten sich ebenfalls öffentlich in die Debatte ein. Evan Hubinger, der im Unternehmen daran forscht, KI an menschlichen Zielen auszurichten, erklärte, einige Forscher rechneten tatsächlich mit einem Szenario, in dem KI alle Menschen töten könnte.

Er selbst schätzte die Wahrscheinlichkeit, dass innerhalb von zehn Jahren alle Menschen sterben, auf mehr als zehn Prozent. Das ist seine persönliche Risikoeinschätzung und keine wissenschaftliche Prognose. Es zeigt jedoch, wie ernst einige Menschen in der Branche solche Szenarien nehmen.

Coxons schneller Aufstieg warf auch Fragen auf. Er hat Verbindungen zu Personen aus der KI-Sicherheitswelt und zum sogenannten effektiven Altruismus, einer Bewegung, die Risiken mit potenziell enormen Folgen für die Zukunft große Aufmerksamkeit widmet. Vor seiner Kündigung sprach Coxon unter anderem mit Daniel Kokotajlo, einem früheren Mitglied eines Sicherheitsteams von OpenAI, das das Unternehmen zuvor aus Sorge über KI verlassen hatte. Auch Nathan Calvin, ein Freund Coxons und Jurist bei Encode AI, half ihm bei der Kommunikation rund um seinen Weggang.

Coxon zufolge gab es keine organisierte Kampagne, die ihn über Nacht bekannt machen sollte. Er selbst sieht sich zudem nicht als Whistleblower. Er veröffentlichte keine geheimen Dokumente und enthüllte kein verborgenes Projekt. Nach seiner Darstellung sagte er vor allem öffentlich, worüber Forscher bei den großen KI-Unternehmen intern schon länger sprechen.

Gerade das ist vielleicht der auffälligste Teil seiner Geschichte. Sorgen, die für Außenstehende extrem klingen, sind nach Coxons Darstellung in Teilen der KI-Branche deutlich weniger ungewöhnlich.

Warum Coxon den KI-Wettlauf bremsen will

Nach seinem Weggang richtet Coxon seine Kritik nicht nur gegen OpenAI und Anthropic. Aus seiner Sicht liegt das Problem in der Struktur der gesamten Branche. Unternehmen konkurrieren um die leistungsfähigsten Modelle und haben enorme finanzielle und strategische Interessen an der weiteren Entwicklung.

Wenn ein Unternehmen freiwillig langsamer macht, kann ein Wettbewerber weiterziehen. Deshalb erwartet er nicht, dass einzelne Unternehmen den Wettlauf aus eigenem Antrieb beenden.

Coxon plädiert daher für internationale Vereinbarungen und vergleicht die Lage mit dem Umgang von Staaten mit Atomwaffen. Während des Kalten Krieges verließen sich Länder nicht allein auf die guten Absichten der jeweils anderen Seite, sondern schlossen Verträge und Abkommen, um bestimmte Risiken zu begrenzen. Er hält es für möglich, dass für sehr leistungsfähige KI am Ende eine ähnliche Form internationaler Koordinierung nötig wird.

Dem steht eine ganz andere Perspektive gegenüber. Leistungsfähigere KI kann auch enorme Vorteile bringen. Die Technologie kann wissenschaftliche Forschung beschleunigen, Softwareentwicklung verbessern und möglicherweise zu neuen Medikamenten und anderen Entdeckungen beitragen.

Zudem weiß niemand, ob sich KI tatsächlich in Richtung jener Form von Superintelligenz bewegt, vor der Coxon warnt. Eine bewusste Verlangsamung der Technologie könnte deshalb ebenfalls weitreichende Folgen haben.

Genau diese Unsicherheit steht im Zentrum seiner Sorgen. Coxon sagt, er wisse nicht genau, was in den kommenden Jahren passieren werde. Sein Einwand lautet vielmehr, dass niemand das wisse, während Unternehmen gleichzeitig enorme Summen, Rechenleistung und Talente einsetzen, um KI so schnell wie möglich leistungsfähiger zu machen.

Dass ausgerechnet er zum Gesicht dieser Botschaft wurde, hätte Coxon selbst vor einigen Monaten wohl nicht erwartet. Er begann als Mathematiktalent, das von intelligenten Maschinen fasziniert war, bekam dann die Chance, bei OpenAI an dieser Technologie mitzuarbeiten, und wechselte anschließend bewusst zu Anthropic, weil Sicherheit dort eine größere Rolle spielte.

Am Ende gelangte er zu der Überzeugung, dass selbst die Arbeit an sicherer KI für ihn nicht ausreichte, solange der Wettlauf selbst weiterging.

Nach seinem Weggang will Coxon sich darauf konzentrieren, mögliche Szenarien für die weitere Entwicklung künstlicher Intelligenz auszuarbeiten. Daniel Kokotajlo, der ihn vor seinem Ausstieg beraten hatte, fasste später zusammen, warum gerade Coxon so viel Aufmerksamkeit bekam: „So viele Menschen in diesen Unternehmen hätten das tun können. Er war derjenige, der es getan hat.“