Gemini zieht erstmals in die Top Five ein, Qwen3.8 27B überzeugt als kompakte Option für lokale Bereitstellungen, und DeepSeek liefert starke Ergebnisse zu besonders geringen Kosten. Der wichtigste Befund bleibt jedoch derselbe wie in den Monaten zuvor: Nicht das neueste Modell oder der höchste Reasoning-Aufwand garantiert die beste Leistung – entscheidend ist die richtige Konfiguration für den jeweiligen Anwendungsfall.
LLM Benchmarks
September 2026
Der September bringt eine deutliche Erweiterung unseres Benchmarks: Neu hinzugefügte Modelle und zusätzliche Reasoning-Konfigurationen lassen das Ranking von 187 auf 225 Einträge anwachsen. Gemini stößt in die Spitzengruppe vor, Qwen bietet eine überzeugende Option für lokale Bereitstellungen, und DeepSeek zeigt, wie viel Leistungsfähigkeit zu einem moderaten Preis verfügbar ist.
Doch auch dieser Monat liefert eine klare Erinnerung: Ein neueres Modell, eine größere Parameteranzahl oder mehr Reasoning führen nicht automatisch zu besseren Ergebnissen.
LLM Benchmarks September 2026:
225 Modelle im Vergleich
Gemini erreicht die Top Five – aber neuer ist nicht immer besser
Gemini 3.7 Flash erreicht 95 Punkte sowohl in der High- als auch in der Medium-Reasoning-Konfiguration und belegt damit Platz vier bzw. sieben in unserem Ranking. Die Medium-Konfiguration erzielt denselben gerundeten Gesamtscore bei geringeren geschätzten Workload-Kosten: 1,10 € gegenüber 1,68 € bei High.
Interessanterweise verbessert Gemini 3.8 Flash dieses Ergebnis nicht. Die besten Konfigurationen erreichen 94 Punkte, wobei der bestplatzierte Eintrag auf Rang elf liegt.
Auch die Dokumentenanalyse verdient einen genaueren Blick. Gemini 3.7 Flash erzielt in der Kategorie Dokumente mit High-Reasoning 90 Punkte, mit Medium jedoch 97 – und zieht damit mit GPT-5.6 Sol gleich. Eine starke Gesamtleistung macht also nicht jede Gemini-Konfiguration zu einer gleich starken Wahl für Dokumente.
Wir überarbeiten derzeit unsere Empfehlungen für die Dokumentenanalyse. In einem kommenden eigenen Benchmark werden wir diese Einschränkungen genauer untersuchen und einen näheren Blick darauf werfen, wie Gemini im Vergleich zu OpenAI abschneidet. Bleiben Sie gespannt auf die Ankündigung.
Qwen3.8 27B: ein Modell, das man für lokale Bereitstellungen im Auge behalten sollte
Für Teams, die Modelle auf eigener Infrastruktur betreiben, ist Qwen3.8 27B eine der interessantesten Neuzugänge dieses Monats.
Mit Extra-High-Reasoning erreicht es 92 Punkte – denselben gerundeten Gesamtscore wie die besten getesteten Konfigurationen des deutlich größeren Qwen3.8 2.4T A95B. Zudem erzielt es 100 Punkte sowohl in Code+Eng als auch in CRM.
Quantisierte Versionen machen eine Bereitstellung auf einer GPU mit 24 GB VRAM zu einer realistischen Option. Unsloth gibt für seine Vier-Bit-Konfigurationen einen Bedarf von etwa 16–19 GB an, wobei der tatsächliche Speicherbedarf von der Kontextlänge und den Laufzeiteinstellungen abhängt. Unsloth-Deployment-Guide.
Unser Benchmark-Ergebnis wurde allerdings über eine gehostete API ermittelt. Der Score von 92 Punkten sollte daher nicht als verifiziertes Ergebnis für eine bestimmte lokale Quantisierung interpretiert werden.
DeepSeek: starke Ergebnisse zu moderaten Kosten
DeepSeek V4 Flash 0731 war bereits im Ranking des Vormonats vertreten. In diesem Monat zeigen seine zusätzlichen Reasoning-Konfigurationen ein deutlich stärkeres Ergebnis: High und Max erreichen beide 90 Punkte, verglichen mit 78 Punkten für die Konfiguration ohne Reasoning.
Die High-Konfiguration verbindet 90 Punkte mit geschätzten Workload-Kosten von 0,12 € und ist damit ein besonders attraktiver Kandidat für kostensensible Anwendungen.
DeepSeek hat zudem V4 Flash Vision Exp vorgestellt, ein experimentelles Modell, das neben Text auch Bilder verarbeitet. DeepSeek-Ankündigung.
In unserem Enterprise-Benchmark erzielt dessen Low-Reasoning-Konfiguration 90 Punkte bei geschätzten Kosten von 0,34 €. Das ist ein ermutigendes Ergebnis, wenngleich es sich nicht um eine eigenständige Bewertung des Bildverständnisses handelt.
Auch hier gilt: Mehr Reasoning garantiert kein besseres Ergebnis. Die Max-Konfiguration von Vision Exp erzielt 88 Punkte, während die geschätzten Kosten auf 1,64 € steigen.
Grok 4.6: ein Update ohne höheren Spitzenwert
Im Vormonat zog Grok 4.5 mit 94 Punkten in die Top Ten ein. Grok 4.6 verbessert dieses Spitzenergebnis nicht.
Auch die Medium- und High-Konfigurationen erreichen 94 Punkte, während Low 93 Punkte erzielt und Extra High auf 92 Punkte abfällt. Die Medium-Konfiguration ist in unseren Messungen schneller als Grok 4.5, ihre geschätzten Workload-Kosten liegen jedoch etwas höher.
Für bestehende Grok-Nutzer ist das ein Grund, die jeweilige Konfiguration sorgfältig zu prüfen, statt anzunehmen, dass ein Upgrade automatisch die Qualität verbessert.
Fable 5.1 macht aus der Enttäuschung des Vormonats ein stärkeres Ergebnis
Unser August-Bericht hatte den Rückgang von Fable 5 von 90 auf 83 Punkte hervorgehoben, nachdem wir es nach der Wiederherstellung des Zugriffs erneut getestet hatten.
Fable 5.1 erreicht nun mit Max-Reasoning 94 Punkte – 11 Punkte über jenem wiederholten Test und vier Punkte über dem ursprünglichen Ergebnis.
Das ist eine deutliche Verbesserung in unserem Benchmark und eine sinnvolle Fortsetzung der Geschichte des Vormonats: Modellfähigkeiten können sich erheblich verändern, weshalb wiederholte Evaluierungen unverzichtbar sind.
Metas Muse zeigt Stärken, bleibt aber hinter den Spitzenreitern zurück
Metas neues Muse Glimmer 30B erzielt in den getesteten Reasoning-Konfigurationen zwischen 82 und 84 Punkten – unter dem besten Ergebnis von Qwen3.8 27B mit 92 Punkten.
Der Gesamtscore verdeckt ein gemischtes Fähigkeitsprofil. Muse erreicht in allen drei Konfigurationen 100 Punkte in Code+Eng, während die Reasoning-Werte zwischen 62 und 75 Punkten liegen.
Es lohnt sich daher, das Modell für bestimmte Workloads genauer zu betrachten – an die stärksten Alternativen über das gesamte Set an Enterprise-Aufgaben reicht es jedoch noch nicht heran.
Weitere Neuzugänge sind NVIDIA Nemotron 3.5 Lightning mit 85 Punkten und GLM 5.3 Flash mit 84 Punkten.
Das Fazit: die Konfiguration wählen, nicht nur das Modell
Der September bietet mehr praxistaugliche Optionen: Gemini gehört nun zur Spitzengruppe, Qwen3.8 27B verdient Aufmerksamkeit für lokale Bereitstellungen, und DeepSeek liefert starke Ergebnisse zu moderaten Kosten.
Die übergeordnete Lehre ist ebenso wichtig: Modellgröße, Erscheinungsreihenfolge und Reasoning-Aufwand sind keine verlässlichen Abkürzungen bei der Wahl des besten Systems. Testen Sie die konkrete Konfiguration gegen Ihren eigenen Workload – und vergleichen Sie Qualität, Kosten und Geschwindigkeit gemeinsam.
Alle oben genannten Kosten sind die geschätzten Workload-Kosten des Benchmarks, keine Preise pro Anfrage oder pro Million Token gemäß API-Preisliste.
Transformieren Sie Ihre digitalen Projekte mit den besten KI-Sprachmodellen!
Entdecken Sie die transformative Kraft der besten Sprachmodelle und revolutionieren Sie Ihre digitalen Produkte mit KI! Bleiben Sie zukunftsorientiert, steigern Sie die Effizienz und sichern Sie sich einen klaren Wettbewerbsvorteil. Wir unterstützen Sie dabei, Ihren Business Value auf das nächste Level zu heben.
