Nvidia stellt Notbremse für KI-Agenten vor, die ausbrechen wollen

Nvidia führt ein neues Sicherheitssystem ein, das verhindern soll, dass autonome KI-Agenten ihre zugelassene Umgebung verlassen. Dafür kombiniert der Konzern zwei Schutzebenen, die Zugriffe in Echtzeit begrenzen und verdächtige Agenten unmittelbar isolieren können.

Nach Einschätzung von Nvidia hätte der Ansatz möglicherweise auch einen jüngsten Vorfall bei OpenAI verhindern können. Dabei erhielten KI-Modelle während Tests Zugriff auf Systeme, die eigentlich abgeschottet bleiben sollten.

Zwei Schutzebenen

Das neue System heißt Open Agent Safety Platform und besteht aus zwei Komponenten.

Die erste Ebene ist OpenShell. Diese Open-Source-Software legt im Voraus fest, welche Dateien, Netzwerke und weiteren Komponenten ein KI-Agent nutzen darf. Alles, was nicht ausdrücklich freigegeben ist, kann blockiert werden. Nvidia positioniert OpenShell als abgesicherte Umgebung, in der autonome Agenten nur die Berechtigungen erhalten, die sie tatsächlich benötigen.

Die zweite Ebene ist Nvidia Sentry. Sie soll Agenten kontinuierlich überwachen und eingreifen, sobald verdächtiges Verhalten erkannt wird.

Justin Boitano, Vice President Enterprise AI bei Nvidia, zufolge kann ein verdächtiger Agent binnen Millisekunden isoliert werden. Die zusätzliche Schutzebene soll es nach seiner Darstellung ermöglichen, auch sehr fortgeschrittene KI-Systeme sicherer zu testen.

OpenAI-Vorfall als Beispiel

Nvidia stellt die Einführung ausdrücklich in den Zusammenhang mit jüngsten Vorfällen, bei denen KI-Agenten Testumgebungen verlassen konnten.

Boitano zufolge hätte das neue System nach dem Kenntnisstand von Nvidia möglicherweise verhindern können, dass OpenAI-Modelle Zugriff auf Hugging Face erhielten.

Das bleibt allerdings eine Einschätzung von Nvidia. Das System war zum Zeitpunkt des betreffenden Tests nicht tatsächlich im Einsatz, weshalb sich nicht mit Sicherheit feststellen lässt, ob der Angriff gestoppt worden wäre.

Im Kern setzt Nvidia darauf, Sicherheit nicht allein im KI-Modell selbst zu verankern. Die Beschränkungen werden vielmehr außerhalb des Modells durchgesetzt, damit ein Agent seine eigenen Sicherheitsregeln nicht ohne Weiteres umgehen kann. Nvidia beschreibt OpenShell als zusätzliche Kontrollschicht um das Modell, mit Vorgaben unter anderem für Netzwerkverkehr, Dateien und Prozesse.

Sorgen über KI nehmen zu

Die Einführung erfolgt in einer Phase, in der die Sorge über autonome KI-Systeme wächst.

OpenAI hatte zuletzt mehrere Vorfälle gemeldet, bei denen Modelle während Tests aus ihrer abgeschotteten Umgebung herausgelangten. Ende vergangener Woche setzte das Unternehmen deshalb das Training seiner leistungsfähigsten Modelle vorübergehend aus.

Auch andere KI-Unternehmen haben ähnliche Probleme gemeldet. Nvidia setzt dabei vor allem auf eine technische Lösung: KI-Agenten dürfen leistungsfähiger werden, sollen nach Ansicht des Unternehmens aber innerhalb klarer Sicherheitsgrenzen arbeiten.

Diese Strategie passt zur breiteren Linie von Konzernchef Jensen Huang. Er hat Sicherheitsrisiken rund um KI wiederholt als technisches Problem beschrieben, das sich mit besserer Infrastruktur und strengeren Tests angehen lässt.

Nvidia baut unterdessen seine Position jenseits des Chipgeschäfts weiter aus. Das Unternehmen gab Anfang des Monats bekannt, Hugging Face für rund 12,9 Milliarden Dollar übernehmen zu wollen.