Google stellt Gemini 4 vor – intern gibt es Zweifel an der Leistung

Google hat mit der Einführung von Gemini 4 Argon begonnen, seinem neuesten und leistungsfähigsten KI-Modell. In offiziellen Tests erzielt das Modell starke Ergebnisse. Nach Angaben von Quellen der Nachrichtenagentur Bloomberg gibt es bei Google jedoch Zweifel daran, wie gut Gemini 4 in der Praxis funktioniert.

Vor allem bei Programmieraufgaben sollen die Leistungen schwanken. Google widerspricht und erklärt, Gemini 4 gehöre zu den derzeit besten KI-Modellen.

Gemini 4: Starke Testergebnisse, Zweifel an der Praxistauglichkeit

Google hat am Mittwoch zunächst einer kleinen Gruppe vertrauter Cybersicherheitspartner Zugang zu Gemini 4 gewährt. Nach weiteren Tests soll das Modell für zusätzliche Nutzer verfügbar werden, zunächst für zahlende Abonnenten.

Nach Angaben von Google erzielt Gemini 4 bei mehreren wichtigen KI-Tests sehr gute Ergebnisse. In einem Test zu Cybersicherheitskompetenzen soll das Modell sogar besser abschneiden als Astra von OpenAI.

Mehrere Mitarbeiter berichten allerdings, dass diese Zahlen kein vollständiges Bild vermitteln. Beim Einsatz für konkrete Arbeitsaufgaben sollen die Leistungen von Gemini 4 in einigen Bereichen hinter den Erwartungen zurückbleiben.

Besonders häufig wird das Programmieren genannt. Das Modell soll mit bestimmten Programmieraufgaben Schwierigkeiten haben. Einer Quelle zufolge weist es auch Schwächen bei der Gestaltung von Benutzeroberflächen für Apps und Websites auf.

Google widerspricht dieser Darstellung. Ein an der Entwicklung beteiligter Mitarbeiter erklärt, im Unternehmen herrsche weitgehend Einigkeit darüber, dass Gemini 4 zur absoluten Spitze gehöre. Auch umfangreiche interne Tests liefern Google zufolge keine Hinweise darauf, dass das Modell mit komplexen Programmieraufgaben aus der Praxis Schwierigkeiten habe.

Die Einschätzungen im Unternehmen gehen damit auseinander. Einige Mitarbeiter sehen bei Anthropic und OpenAI ein höheres Entwicklungstempo und erwarten, dass Gemini 4 in einzelnen Bereichen zurückbleibt. Andere sind überzeugt, dass Google seinen Rückstand inzwischen aufgeholt hat.

Google kann sich keinen weiteren Rückschlag leisten

Für Google steht viel auf dem Spiel. Gemini bildet die Grundlage für KI-Funktionen in nahezu allen großen Produkten des Konzerns, darunter die Google-Suche, Gmail, Maps und Chrome. Jeder dieser Dienste hat mehr als eine Milliarde Nutzer.

Zugleich wollen OpenAI und Anthropic ihr Geschäft über KI-Modelle hinaus ausbauen. Sie entwickeln zunehmend eigene Anwendungen, darunter KI-Agenten, die selbstständig programmieren und andere Aufgaben erledigen können.

Gerade beim KI-gestützten Programmieren fällt es Google schwer, Marktanteile zu gewinnen. Schwächen von Gemini 4 könnten es den Wettbewerbern daher erleichtern, Entwickler und Unternehmen für ihre eigenen Plattformen zu gewinnen.

Hinzu kommt ein früherer Rückschlag: Google wollte im Juni Gemini 3.5 Pro veröffentlichen, doch diese Version erschien nie. Nach Angaben von Bloomberg-Quellen wurde das Modell eingestellt, weil die Entwicklung die internen Erwartungen nicht erfüllte.

Diese Entscheidung könnte teuer gewesen sein. Das Training eines KI-Modells dieser Größenordnung kann nach Angaben von Bloomberg Intelligence bis zu 400 Millionen Dollar kosten. Die Gehälter spezialisierter KI-Forscher kommen noch hinzu.

Hohe Testwerte sind kein Garant für gute Praxisleistung

Die Debatte um Gemini 4 verweist auf ein grundsätzliches Problem der KI-Branche. Unternehmen messen die Leistungsfähigkeit ihrer Modelle anhand sogenannter Benchmarks. Kunden und Entwickler nutzen diese Ergebnisse, um Modelle miteinander zu vergleichen.

Ein hoher Testwert bedeutet jedoch nicht automatisch, dass ein Modell auch in der Praxis besser funktioniert.

In der Branche wird deshalb über „Benchmaxxing“ diskutiert. Gemeint ist die gezielte Optimierung eines KI-Modells für bestimmte Tests. Dadurch verbessern sich die Ergebnisse, ohne dass bei alltäglichen Aufgaben immer entsprechende Fortschritte erkennbar sind.

Nach Angaben zweier Bloomberg-Quellen spielt diese Frage auch bei Gemini 4 eine Rolle. Edwin Chen, Gründer des KI-Unternehmens Surge AI, zieht einen Vergleich mit Schülern: Eine hervorragende Prüfungsnote sage noch wenig darüber aus, wie gut sich das erworbene Wissen in der Praxis anwenden lasse.

Gemini 4 hat nach Einschätzung von Beteiligten auch klare Stärken. Das Modell soll Informationen jenseits von Text gut verarbeiten können, etwa bei der Analyse von Videos. Auch bei Cybersicherheit, Sicherheit und natürlicher Kommunikation soll es starke Leistungen zeigen.

Google zufolge wurde Gemini 4 für langwierige und komplexe Aufgaben in der Softwareentwicklung, im Finanzwesen, im Rechtsbereich und in der Cybersicherheit entwickelt. Zudem kann das Modell deutlich mehr Informationen gleichzeitig verarbeiten als sein Vorgänger: bis zu eine Million Tokens, was nach Angaben von Google etwa 750.000 Wörtern entspricht.