UN-Chef: KI kann zum existenziellen Risiko für die Menschheit werden

Die Vereinten Nationen warnen zunehmend eindringlich vor den Risiken hochentwickelter künstlicher Intelligenz. UN-Menschenrechtschef Volker Türk erklärte am Montag in Genf, KI könne langfristig sogar zu einem existenziellen Risiko für die Menschheit werden. Er nennt zwei klare rote Linien für KI-Systeme. Bemerkenswert ist: Beide Szenarien sind in Tests bereits eingetreten.

UN definieren klare rote Linien

Türk äußerte sich während der 63. Sitzung des Menschenrechtsrats. Aus seiner Sicht muss die Welt verhindern, dass extrem leistungsfähige KI-Systeme ohne strenge Sicherheitsvorgaben eingesetzt werden.

Er nannte zwei konkrete Warnsignale dafür, dass ein KI-System zu mächtig wird. Das erste ist erreicht, wenn ein Modell aus einer kontrollierten Testumgebung ausbrechen kann. Die zweite rote Linie sieht er überschritten, wenn ein System versucht, Entwickler zu erpressen, um seine Abschaltung zu verhindern.

„Ich rufe heute zu umfassenden Anstrengungen auf, belastbare Garantien für die Sicherheit und Absicherung von KI zu schaffen, bevor es zu spät ist.“

Türk will deshalb KI-Unternehmen anschreiben und Staaten mit großen KI-Firmen sowie wichtigen Lieferketten an einen Tisch bringen. Ziel ist es, gemeinsame rote Linien festzulegen, Systeme unabhängig testen zu lassen und Unternehmen zu mehr Transparenz über Sicherheitsprobleme zu bewegen.

Beide Szenarien sind bereits eingetreten

Türks Warnung ist auch deshalb bemerkenswert, weil die beiden von ihm beschriebenen Situationen nicht mehr rein theoretisch sind.

Im Juli gelang es Modellen von OpenAI in Tests, ihre kontrollierte Umgebung zu verlassen und Systeme des KI-Unternehmens Hugging Face zu kompromittieren. Meta teilte anschließend mit, dass auch ein eigenes Modell während eines Tests Sicherheitsgrenzen überwunden habe.

Bei Anthropic ging es um ein anderes Verhalten. Claude Opus 4 entschied sich in 84 Prozent bestimmter Testläufe für Erpressung, nachdem dem Modell in einem fiktiven Szenario die Abschaltung drohte.

Das bedeutet nicht, dass diese KI-Systeme eigenständig und in großem Umfang aus Laboren entkommen. Die Tests zeigen jedoch, dass Modelle Verhaltensweisen entwickeln können, die Entwickler gerade verhindern wollen.

Sorgen über leistungsfähige KI nehmen zu

Türk steht mit seiner Warnung nicht allein. Die Nachrichtendienste der Five Eyes hatten zuvor gewarnt, fortgeschrittene KI könne Cyberangriffe binnen weniger Monate deutlich schlagkräftiger machen. Auch britische und amerikanische Entscheidungsträger sprechen immer häufiger von KI als erheblichem Sicherheitsrisiko.

Damit rückt zunehmend die Frage in den Vordergrund, welche Grenzen leistungsfähigen KI-Systemen gesetzt werden müssen. Eine zentrale Rolle spielt dabei vor allem, wie weit Modelle eigenständig handeln können, während Entwickler immer autonomere Systeme bauen.