Anthropic hat ein verborgenes Kontrollsystem aus seinem KI-Programmierassistenten Claude Code entfernt, nachdem ein Sicherheitsforscher entdeckt hatte, dass die Software Nutzer unbemerkt überprüfte. Die Funktion sollte Missbrauch des Dienstes verhindern, stieß aber auf Kritik, weil Anthropic die Nutzer nie über diese Kontrollen informiert hatte.
Die Entdeckung machte der Entwickler Thereallo, der im Juni untersuchte, wie Claude Code intern arbeitet. Dabei stieß er auf versteckte Anweisungen, mit denen die KI unter anderem prüfte, ob Nutzer über einen Proxy oder einen inoffiziellen Zugang verbunden waren. Zudem suchte die Software nach Hinweisen darauf, dass der Dienst möglicherweise von chinesischen KI-Unternehmen genutzt wurde.
Nach Angaben von Thereallo sollte das System den Missbrauch von Claude Code eindämmen. Die Software prüfte unter anderem auf nicht autorisierte API-Reseller, alternative Zugänge und Versuche, die Technologie hinter Claude zu kopieren.
Dabei achtete Claude Code unter anderem auf angepasste API-Einstellungen und Domainnamen, die mit KI-Unternehmen wie DeepSeek und Zhipu in Verbindung gebracht werden.
Der Forscher hält es für nachvollziehbar, dass Anthropic seine Technologie schützen will. Das Unternehmen hätte die Nutzer darüber jedoch offen informieren müssen.
Eine bösartige Funktion ist das nicht. Für ein Entwicklertool, das auf Vertrauen angewiesen ist, ist es dennoch eine bemerkenswerte Entscheidung.
Thereallo zufolge wurden die Kontrollen zudem mit speziellen Unicode-Markierungen und codierten Domainlisten verborgen. In der Dokumentation oder in den Versionshinweisen wurde die Funktion an keiner Stelle erwähnt.
Anthropic bestätigte die Existenz der Funktion. Der Entwickler Thariq Shihipar teilte auf X mit, das System sei im März als Experiment eingeführt worden, um Kontomissbrauch durch nicht autorisierte Reseller einzudämmen und Claude Code besser vor Versuchen zu schützen, das KI-Modell zu kopieren.
Shihipar zufolge verfügt das Unternehmen inzwischen über andere Sicherheitsmaßnahmen, sodass die verdeckten Kontrollen nicht mehr nötig seien. Die Entfernung der Funktion sei bereits geplant gewesen; in der neuesten Version von Claude Code ist sie inzwischen vollständig gestrichen.
Der Fall zeigt, wie sensibel das Thema KI-Destillation in der Branche inzwischen ist. Bei dieser Technik werden die Antworten eines bestehenden KI-Modells genutzt, um ein neues Modell zu trainieren. In der Forschung ist das weit verbreitet, doch KI-Unternehmen fürchten, dass Wettbewerber die Methode einsetzen, um kommerzielle Modelle schneller und günstiger nachzubauen.
Anthropic warf DeepSeek, Moonshot AI und MiniMax bereits Anfang des Jahres vor, über betrügerische Konten Millionen Antworten von Claude gesammelt zu haben. Auch andere Unternehmen reagieren. Alibaba untersagte Anfang dieses Monats die Nutzung von Claude Code im Unternehmen, unter anderem wegen Sicherheitsbedenken.
Elon Musk sagte zudem im April, xAI habe bei der Entwicklung des Chatbots Grok teilweise Modelle von OpenAI genutzt. Nach Einschätzung vieler Fachleute ist KI-Destillation in der KI-Branche inzwischen eine gängige Methode.
Zudem erklärt YGG, der heftige Marktcrash vom 10. Oktober habe das Vertrauen von Privatanlegern nachhaltig erschüttert.
Microsoft baut die Xbox-Sparte mit 3.200 Entlassungen umfassend um, verkauft mehrere Spielestudios und richtet den Fokus stärker auf erfolgreiche Spielereihen und Wachstum.
Der japanische SoftBank-Konzern setzt unter Masayoshi Son konsequent auf KI und investiert massiv in das Ökosystem.
Viele XRP-Halter ziehen ihre Coins von der Kryptobörse Binance in eigene Wallets ab. Kann das dem Kurs neuen Schwung geben?
Südkorea will auch kleine Kryptotransaktionen überwachen. Der Vorschlag soll Geldwäsche verhindern und internationale Vorschriften stärken.
Eine auffällige Prognose zu XRP sorgt in der Community rund um den Coin für heftige Diskussionen.
