KI-Kostenrechner

Als Faustregel gilt ein Token je vier Zeichen englischen Textes, also rund 750 Wörter je 1.000 Token. Deutsch ist dichter gepackt: Komposita und Umlaute zerfallen in mehr Stücke, für denselben Inhalt zahlen Sie also etwas mehr.

Alle Preise auf dieser Seite beziehen sich auf 1 Mio. Token. Das klingt viel, ist aber schnell erreicht: ein einzelnes 500-Kilobyte-PDF entspricht bereits rund 125.000 Token, ein Achtel davon.

Quellen: Anthropic, Preisdokumentation · OpenAI, Preisseite

Stand 18.08.2026

Zur Eingabe zählen Systemanweisung, bisheriger Gesprächsverlauf und angehängte Dokumente, und sie wird bei jedem einzelnen Aufruf neu berechnet. Eine durchschnittliche Webseite mit 10 Kilobyte entspricht rund 2.500 Token.

Bei der Ausgabe zählen Denkschritte mit, auch wenn Sie sie nie zu sehen bekommen. Aufgaben mit langer Ausgabe, etwa Entwürfe, verschieben den größten Kostenposten deshalb von der Eingabe zur Ausgabe.

Quellen: Anthropic, Preisdokumentation · OpenAI, Preisseite

Stand 18.08.2026

Die Preise je Modell stehen in der Modelltabelle: Anthropic verlangt fürs Füllen das 1,25-Fache des Eingabepreises und fürs Lesen ein Zehntel, OpenAI seit der gpt-5.6-Serie ebenfalls das 1,25-Fache fürs Füllen, Mistral liest seit August 2026 für ein Zehntel, DeepSeek für rund drei Prozent.

Daraus folgt eine oft übersehene Konsequenz: Bei einem einzigen Aufruf ist Cache TEURER als keiner, denn er wird gefüllt und nie gelesen. Der Nutzen beginnt ab dem zweiten Aufruf derselben Aufgabe.

Jedes Modell und jede Denkstufe hat einen eigenen Cache. Wer mitten in der Arbeit umschaltet, erzwingt einen neuen Schreibvorgang.

Quellen: Anthropic, Preisdokumentation · Mistral, Prompt-Caching-Dokumentation · DeepSeek, Preisseite

Stand 18.08.2026

Ein einfacher Chat ist ein Aufruf. Sobald Werkzeuge, Suchschritte oder Zwischenprüfungen dazukommen, vervielfacht sich die Zahl, und mit ihr die Eingabe, die bei jedem Aufruf neu berechnet wird.

Dieser Wert bleibt leicht unsichtbar: die Tokenpreise stehen auf der Preisseite, die Aufrufzahl steht nirgends und muss gemessen werden.

Eigene Einschätzung, keine externe Quelle.

Stand 19.08.2026

Hier entscheidet sich, ob ein billiges Modell wirklich billiger ist. In einer Untersuchung vom März 2026 verursachte in 32 Prozent der Modellpaare das günstiger gelistete Modell die höheren Gesamtkosten, vor allem durch stark schwankende Denk-Token und mehr Arbeitsschritte je Aufgabe.

Der Umschlagpunkt im Ergebnis rechnet das für Ihr Szenario aus: ab wie vielen Anläufen das günstigste Modell seinen Vorsprung an das teuerste verliert.

Wo ein Anker eine Lösequote liefert, leitet der Rechner die Anläufe daraus ab, mit einer Korrektur. Yang (arXiv 2605.08563, 08.05.2026) zeigt, dass die Annahme unabhängiger Versuche pass@3 um 17,4 Punkte zu hoch ansetzt, 98,6 statt 81,2 Prozent: ein zweiter Anlauf erbt die Fehlerursache des ersten. Der Rechner legt deshalb den Faktor 1,2 auf die Anläufe. Dieser Faktor ist eine ausgewiesene Annahme aus dieser Messung, keine eigene Messung.

Quellen: Chen et al. 2026, arXiv 2603.23971 · Yang, arXiv 2605.08563, 08.05.2026

Stand 19.08.2026

Der höhere Satz gilt dann für ALLE Token des Aufrufs, auch für die unterhalb der Schwelle. So rechnen die Anbieter ab, und die Schwellen stehen oft nur als Fußnote unter der Preistabelle.

Ein Rechner, der pauschal mit dem Preis der ersten Seite rechnet, unterschätzt lange Dokumente deshalb um bis zur Hälfte. Anthropic staffelt nicht und stellt das volle Fenster zum Grundpreis.

Welche neun Modelle betroffen sind, zeigt der Filter „Merkmal" in der Modelltabelle; im Ergebnis tragen betroffene Zeilen die Kennzeichnung „Langkontext-Satz".

Quellen: OpenAI, Preisseite · Google, Gemini-Preisseite

Stand 18.08.2026

Die Spannbreite ist groß: Claude Haiku 4.5 nimmt bis zu 200.000 Token an, die aktuellen Opus- und gpt-5.6-Modelle rund 1 Mio. Im Ergebnis tragen Modelle, deren Fenster für Ihre Eingabe zu klein ist, den Hinweis „passt nicht".

Ein Strich in der Modelltabelle bedeutet: der Anbieter weist für dieses Modell keine Größe auf der Preisseite aus. Dort steht bewusst keine geschätzte Zahl.

Quellen: Anthropic, Preisdokumentation · OpenAI, Preisseite

Stand 18.08.2026

Anthropic, OpenAI, Google und Mistral veröffentlichen den Stapelrabatt als eigene Preisliste; die Anbieter offener Gewichte in unserem Bestand führen keinen. Wo er fehlt, lässt der Rechner den Nachlass weg und sagt es an der Zahl.

Für wiederkehrende Mengenaufgaben, etwa die nächtliche Auswertung von Dokumenten, sind das 50 Prozent Nachlass; die Qualität bleibt gleich, nur die Wartezeit kommt dazu.

Quellen: Anthropic, Preisdokumentation · OpenAI, Preisseite · Google, Gemini-Preisseite

Stand 18.08.2026

Auf die Token selbst erheben Router keinen Aufschlag; beim Aufladen fallen 5,5 Prozent bei Kartenzahlung an. Die Anfrage geht an den jeweils ausgewählten Anbieter weiter, und dieser kann sie für Training oder Verbesserung verwenden. Wer eine feste Liste von Unterauftragnehmern braucht, muss das Routing festnageln.

Erzwungene Verarbeitung in den USA kostet bei Anthropic das 1,1-Fache. Einen EU-Wert kennt der Residenz-Parameter derzeit nicht; Verarbeitung innerhalb der EU führt über die Cloud-Plattformen mit europäischen Regionen.

Quellen: OpenRouter, Preisseite · Anthropic, Preisdokumentation

Stand 18.08.2026

Die Zuordnung folgt dem Namensschema der Anbieter: Anthropic staffelt Opus, Sonnet, Haiku; OpenAI sol, terra, luna plus die pro-Stufen; Google Pro, Flash, Flash-Lite; Mistral Large, Medium, Small, dazu die Ministral-Reihe ausdrücklich für den Geräte-Einsatz und Codestral sowie Devstral für Code.

Die Klasse ordnet ein, die Fähigkeitsspalte misst. Beides kann auseinanderfallen: DeepSeek V4 Pro ist die Spitzenklasse seines Anbieters zum Preis einer Kompaktklasse, und ein Geräteklasse-Modell kann Listenpreis-Ranglisten anführen, obwohl es mit kleinem Kontextfenster und ohne Fähigkeitsmessung für viele Geschäftsvorfälle ausscheidet.

In den Bestand kommt nur, was an einem aktiven Endpunkt mit veröffentlichtem Listenpreis buchbar ist. Kursierende Kampfpreise ohne buchbaren Endpunkt bleiben draußen, so verlockend die Zahl auch aussieht.

Quellen: Anthropic, Preisdokumentation · OpenAI, Preisseite · Google, Gemini-Preisseite · Mistral, API-Preisseite

Stand 18.08.2026

Der Epoch Capabilities Index (ECI) fasst über 50 Benchmarks per Item-Response-Theorie zu einem Fähigkeitswert je Modell zusammen, mit denselben Werkzeugen, mit denen Prüfungen wie der GMAT kalibriert werden. Die Skala ist relativ: GPT-5 liegt per Definition bei 150, Claude 3.5 Sonnet bei 130.

Die ökonomische Folge heißt Cost-of-Pass: Kosten je gelöster Aufgabe sind Kosten je Versuch geteilt durch die Lösequote. Ein Modell knapp unter der Aufgabenschwierigkeit wird über die Anläufe teuer; weit über ihr zahlen Sie Fähigkeit, die die Aufgabe nicht braucht.

Der Rechner nutzt das bei Geschäftsvorfällen mit Anker-Benchmark, und zwar nur mit gemessenen Lösequoten: wo keine Messung vorliegt, steht ein Strich statt einer geschätzten Zahl, und ab Zone 3 gewinnt die Zeile nicht. Wo kein Anker trägt, sagt der Report das offen.

Quellen: Epoch AI, Epoch Capabilities Index (CC-BY) · Ho et al. 2025, A Rosetta Stone for AI Benchmarks, arXiv 2512.00193 · Erol et al. 2025, Cost-of-Pass, arXiv 2504.13359

Stand 18.08.2026

Geprüft am 18. August 2026 direkt an den Preisseiten der Anbieter, ohne Rabatte. Preise ändern sich still: zwischen zwei Prüfungen dieses Rechners stand ein Modell zeitweise fünffach zu hoch in der Liste, ohne dass eine Meldung darauf hinwies.

Anthropic weist für Modelle ab Claude 4.7 einen Tokenizer aus, der für denselben Text rund 30 Prozent mehr Token erzeugt. Ein Preisvergleich über Anbietergrenzen hinweg trägt deshalb nur als Größenordnung.

Quellen: Anthropic, Preisdokumentation · OpenAI, Preisseite

Stand 18.08.2026

Zellinger und Thomson beziffern die Schwelle: „reasoning models offer better accuracy-cost tradeoffs as soon as the economic cost of a mistake exceeds $0.01". Modellkaskaden verlieren ihren Vorteil ab etwa 0,1 USD. Eine Voraussetzung gehört dazu: die Schwelle gilt, solange das stärkere Modell auch das genauere ist. Bei Code-Review und Recherche fällt das messbar oft anders aus; die Schwellenlogik trägt dort weiter, die Rangordnung dahinter muss gemessen werden.

Im Kundendienst liegen die beiden Größen zwei Zehnerpotenzen auseinander. Ein Ticket mit 3.700 Token kostet in jeder Modellklasse Bruchteile eines Cents, der Marktpreis eines gelösten Tickets liegt bei 0,49 bis 2,00 USD (Drag und MavenAGI 2026, Sekundärquellen). Wer am Tokenpreis spart und die Eskalation weglässt, optimiert die kleinere der beiden Zahlen.

Zwei belegte Fälle zeigen die Spanne nach oben. Im Verfahren Moffatt v. Air Canada (2024 BCCRT 149, 14.02.2024) sprach das Tribunal 812,02 CAD zu und hielt fest: „It should be obvious to Air Canada that it is responsible for all the information on its website." Klarna kündigte im Februar 2024 die Arbeit von rechnerisch 700 Vollzeitkräften und 40 Mio. USD Ergebnisverbesserung an und korrigierte im Mai 2025: „As cost unfortunately seems to have been a too predominant evaluation factor when organizing this, what you end up having is lower quality."

Im Abschnitt Anforderungen stellen Sie diese Größe als Zone ein. Die Vorbelegungen reichen von 0 Euro über die Kosten eines weiteren Aufrufs bis 100 Euro je Aufgabe. Die oberste Zone vergibt keine Zahl, weil der Fehler dort nicht bezifferbar ist, und schaltet das Ergebnis auf Modellgruppe und Prozess um.

Quellen: Zellinger und Thomson, Economic Evaluation of LLMs, arXiv 2507.03834 · Drag und MavenAGI 2026, Marktpreis je gelöstem Ticket (Sekundärquelle) · Moffatt v. Air Canada, 2024 BCCRT 149, 14.02.2024 · Klarna, Ankündigung 27.02.2024 und Korrektur 05/2025 (Sekundärquelle)

Stand 19.08.2026

Eine Simulationsstudie von MedStar und Georgetown (npj Digital Medicine, 24.04.2025) legte 20 Hausärzten 18 Patientennachrichten mit KI-Entwürfen vor, vier davon mit eingebauten Fehlern. 35 bis 45 Prozent der fehlerhaften Entwürfe gingen unverändert hinaus, jeder fehlerhafte Entwurf wurde von mindestens 13 der 20 Teilnehmer übersehen, im Mittel blieben 2,67 von 4 Fehlern unentdeckt, und genau ein Teilnehmer adressierte alle vier. Die Autoren nennen die Ursache Automation Bias, „the tendency to over-rely on automation".

Prüfen kostet messbar Zeit. An der UC San Diego stieg die Lesezeit je Nachricht um 21,8 Prozent (JAMA Network Open, 15.04.2024, p gleich 0,008), während die Antwortzeit um 5,9 Prozent sank, ohne statistische Signifikanz. Der Rechner setzt deshalb Prüfminuten mal Stundensatz an, mit 60 Euro je Stunde als ausgewiesener Annahme.

Aufmerksamkeit ist eine endliche Ressource. Turan (arXiv 2606.08919, 08.06.2026) modelliert Prüfer, die mit der Eskalationslast ermüden: „when the reviewer is modeled as endogenous (fatiguing as escalation load grows), realized safety becomes an inverted-U in the escalation rate: more human oversight can make a system less safe". Prüfer sind sich zudem nur mäßig einig, was riskant ist, Fleiss Kappa 0,52. Die Arbeit ist ein Einzelautor-Vorabdruck ohne Humanstudie; sie steht hier als Hinweis, in die Rechnung geht sie nicht ein.

OpenAI schreibt zu GDPval (25.09.2025), dass Spitzenmodelle die dortigen Aufgaben rund 100-mal schneller und rund 100-mal günstiger erledigen als Branchenfachleute, und stellt im selben Absatz klar, dass diese Zahlen nur Inferenzzeit und API-Kosten umfassen und die menschliche Aufsicht, Überarbeitung und Integration nicht enthalten. Genau diese Posten trägt der Regler Prüfbarkeit in die Rechnung.

Quellen: MedStar und Georgetown, npj Digital Medicine, 24.04.2025 · UC San Diego (Tai-Seale et al.), JAMA Network Open, 15.04.2024 · Turan 2026, Oversight Has a Capacity, arXiv 2606.08919 · OpenAI, GDPval, 25.09.2025

Stand 19.08.2026

Chen et al. (arXiv 2603.23971, 25.03.2026, 8 Modelle, 12 Aufgaben) messen: „in 32% of model-pair comparisons, the model with a lower listed price actually incurs a higher total cost, with reversal magnitude reaching up to 28x". Auf derselben Anfrage verbraucht ein Modell bis zu 900 Prozent mehr Denk-Token als ein anderes oder zehnmal so viele Runden. Wiederholt man dieselbe Anfrage beim selben Modell, schwanken die Denk-Token um bis zum 9,7-Fachen; die Arbeit nennt das einen nicht reduzierbaren Rauschboden für jede Vorhersage.

OckBench (arXiv 2511.05722) misst denselben Effekt bei gleicher Genauigkeit: über 25-facher Tokenunterschied, rund 1.600 gegen rund 42.000 Token. Der Satz der Arbeit dazu lautet: „cheaper token cost does not always imply cheaper task cost; verbose smaller models can pay an Overthinking Tax".

Die Denkstufe wirkt in derselben Größenordnung. Artificial Analysis maß für GPT-5 auf der Stufe high das 23-Fache der Token der Stufe minimal, 82 Mio. gegen 3,5 Mio. für den ganzen Index, bei 68 gegen 44 Indexpunkten; der Schritt von medium auf high brachte einen Punkt. Auch die Generation zählt: Claude Sonnet 5 erzeugt je Index-Aufgabe rund 40 Prozent mehr Ausgabe-Token als Sonnet 4.6, braucht rund dreimal so viele Agenten-Runden und kostet je Aufgabe rund das Doppelte, bei gleichem Listenpreis.

Deshalb rechnet diese Fassung mit einem Mengenfaktor je Modell und Denkstufe und zeigt das Ergebnis als Bandbreite. Wo für das obere Band keine gemessene Streuung vorliegt, steht das an der Zahl.

Quellen: Chen et al. 2026, arXiv 2603.23971 · OckBench, arXiv 2511.05722 · Artificial Analysis, GPT-5 benchmarks and analysis, 07.08.2025 · Artificial Analysis, Claude Sonnet 5 agentic cost, 30.06.2026

Stand 19.08.2026

Anthropic weist für Modelle ab Claude 4.7 einen neuen Tokenizer aus: „This tokenizer produces approximately 30% more tokens for the same text." Bei gleichem Preis je Token ist das ein Aufschlag von rund 30 Prozent auf der Mengenseite, ohne dass sich eine Preisangabe ändert.

Zwischen den Anbietern ist die Spanne größer. TextKit maß am 10.06.2026 für deutschen Text 1,71 Token je Wort bei GPT-5, 2,18 bei GPT-4, 2,64 bei Claude Sonnet 4.6 und 3,48 bei Claude Opus 4.8; englischer Text liegt bei 1,17 bis 1,88. Zwischen den Enden liegt Faktor 2,0, und er wirkt auf Eingabe und Ausgabe zugleich.

Über 24 EU-Sprachen gemessen (arXiv 2605.24718) spreizt sich die Tokenzahl je Wort um das 2,5-Fache, von 1,2 im Englischen bis 3,1 im Griechischen. Deutsch liegt im Mittel bei 1,76 und je nach Anbieter zwischen 1,55 und 1,98, also 1,28-fach allein durch die Anbieterwahl.

Der Rechner legt den Faktor je Modellfamilie auf Eingabe und Ausgabe und zeigt ihn in der Modelltabelle als eigene Spalte. Ein Vergleich, der Token als anbieterneutrale Einheit behandelt, bevorzugt die Anbieter mit dem gröberen Tokenizer.

Quellen: Anthropic, Preisdokumentation · TextKit, Token je Wort im Anbietervergleich, 10.06.2026 · Tokenizer-Aufschlag über 24 EU-Sprachen, arXiv 2605.24718

Stand 19.08.2026

Zwei Hersteller berichten denselben Langkontext-Wert in ihren Modellkarten, MRCR v2 mit acht Nadeln, und dort bricht das Etikett auseinander. Gemini 3.1 Pro fällt von 84,9 Prozent bei 128.000 Token auf 26,3 Prozent bei 1 Mio. (Modellkarte, 19.02.2026). Anthropic schreibt zur 1M-Variante: „on the 8-needle 1M variant of MRCR v2 … Opus 4.6 scores 76%, whereas Sonnet 4.5 scores just 18.5%". Gleiches Etikett, vierfacher Unterschied.

NoLiMa (ICML 2025) misst den Abfall dort, wo die Frage nicht wörtlich mit der Fundstelle übereinstimmt: bei 32.000 Token fallen elf von dreizehn Modellen unter die Hälfte ihrer Kurzkontext-Leistung. RULER bestätigt das über 17 Modelle und rechnet in effektiver statt in beworbener Länge: Llama-3.1-70B wird mit 128k angegeben und trägt 64k.

Chroma zeigt, dass der Abfall auch einfache Aufgaben trifft: „model performance varies significantly as input length changes, even on simple tasks". Die Nadelsuche prüft weniger als echte Auswertungsarbeit, die darüber liegt.

In der Modelltabelle steht die Treue als eigene Spalte für 128k und 1M. Vier Modelle des Bestands tragen einen Wert: drei davon berichten die Hersteller in ihren Modellkarten, der vierte, Gemini 3.7 Flash, stammt aus einer Sekundärquelle und trägt eine andere Messgröße, GDM-MRCR long context. Alle übrigen Modelle tragen einen Strich, weil keine Angabe vorliegt. Der Regler Kontextlänge im Abschnitt Anforderungen arbeitet mit diesen Werten.

Quellen: Google DeepMind, Modellkarte Gemini 3.1 Pro, 19.02.2026 · Anthropic, Claude Opus 4.6, 05.02.2026 · NoLiMa, ICML 2025, arXiv 2502.05167 · NVIDIA RULER, effektive Kontextlänge · Chroma, Context Rot, 14.07.2025

Stand 19.08.2026

Das Thinking Machines Lab hat die Ursache am 10.09.2025 auf die schwankende Stapelgröße im Server zurückgeführt: mit der Last ändert sich die Reihenfolge, in der der Rechenkern zusammenfasst. Gemessen ergaben 1.000 identische Anfragen bei Temperatur 0 achtzig verschiedene Antworten. Mit stapelinvarianten Rechenkernen waren alle 1.000 Antworten identisch, und die Laufzeit stieg von 26 auf 55 Sekunden, mit verbessertem Aufmerksamkeitskern auf 42.

Die Streuung bleibt nicht im Wortlaut. Atil et al. (arXiv 2408.04667, fünf Modelle, acht Aufgaben, zehn Läufe) berichten: „We see accuracy variations up to 15% across naturally occurring runs with a gap of best possible performance to worst possible performance up to 70%." Yuan et al. (arXiv 2506.09501) messen bei einem Denkmodell „up to 9% variation in accuracy and 9,000 tokens difference in response length" und führen es auf Gleitkomma-Arithmetik begrenzter Genauigkeit zurück.

Verlässlichkeit entsteht deshalb in der Architektur um das Modell herum. Das belegte Grundmuster: das Modell schlägt vor, eine feste Regel oder ein Prüfprogramm entscheidet, und nur die Entscheidung zählt. Strukturierte Ausgaben sichern dabei die Form der Antwort; über den Inhalt sagen sie nichts, und der Anbieter schreibt dazu, dass solche Ausgaben weiterhin Fehler enthalten können. Mehrfachziehungen und Abstimmungsverfahren senken die Streuung, Determinismus stellen sie nicht her, denn sie ziehen bewusst mehrere Stichproben.

Das BSI führt Nichtreproduzierbarkeit als eigene Risikokategorie R7 (Generative AI Models, Version 2.0, 17.01.2025): „The outputs of many generative AI models are not necessarily reproducible due to the use of random components." Die Maßnahme M20 verlangt bei kritischer Wirkung eine Prüfung der Ausgabe, den Abgleich mit weiteren Quellen und bei Bedarf manuelle Nachbearbeitung. Im Ergebnis zeigt die oberste Fehlerkosten-Zone die belegten Muster mit ihren Grenzen.

Quellen: Thinking Machines Lab, Defeating Nondeterminism in LLM Inference, 10.09.2025 · Atil et al., Non-Determinism of Deterministic LLM Settings, arXiv 2408.04667 · Yuan et al., Numerical Sources of Nondeterminism in LLM Inference, arXiv 2506.09501 · BSI, Generative AI Models, Version 2.0, 17.01.2025, Risiko R7 und Maßnahme M20

Stand 19.08.2026

METR (Becker, Rush, Barnes, Rein, arXiv 2507.09089, 12.07.2025) ließ erfahrene Entwickler auf reifem Code randomisiert mit und ohne KI arbeiten. Gemessen waren sie mit KI 19 Prozent langsamer, eingeschätzt hatten sie sich schneller. Zwischen Selbsteinschätzung und Messung liegen rund 39 Prozentpunkte.

Die Gegenzahlen gehören dazu. Ein Rollout über zehntausende Entwickler bei Microsoft zeigt rund 24 Prozent mehr zusammengeführte Pull Requests (arXiv 2607.01418, 01.07.2026). Und der Stanford AI Index 2026 hält fest, dass METR den eigenen Befund später nicht replizieren konnte, „primarily due to a growing reluctance among developers to work without AI, and that developers in late 2025 were likely sped up by AI relative to the original study period" (Seite 219).

Für diesen Rechner folgt daraus eine Regel: kalibriert wird er nie mit Selbsteinschätzungen. Jede Fallstudie, die auf einer Zufriedenheitsbefragung beruht, kann um diese Größenordnung zu optimistisch liegen, und Anbieterzahlen zur Zeitersparnis tragen dasselbe Risiko. Die Zahlen hier stammen aus Preislisten, Modellkarten und Messreihen mit veröffentlichtem Aufbau.

Quellen: Becker, Rush, Barnes, Rein (METR), arXiv 2507.09089, 12.07.2025 · Microsoft-Rollout über zehntausende Entwickler, arXiv 2607.01418, 01.07.2026 · Stanford AI Index 2026, Seite 219 (Replikationshinweis zu METR)

Stand 19.08.2026

GPQA Diamond ist als „Google-proof" gebaut, also so, dass Suchen nicht hilft. Ein Maß, das Suchfähigkeit neutralisiert, kann sie nicht bewerten. Dazu ist es gesättigt: vals.ai zählt am 15.08.2026 „24 of the 133 models tested now score 90% or higher", und der Autor des Benchmarks, David Rein, sagt im Interview, es „stopped discriminating between good and great". Für Recherche tragen BrowseComp und die Deep Research Bench, die als einzige Kosten je Aufgabe mitliefert.

SWE-bench Verified misst die Erzeugung eines Patches bei bekanntem Fehlerort. Ein Review sucht den Fehler erst. CR-Bench (arXiv 2603.11078, 10.03.2026) begründet den Unterschied und führt eigene Maße ein, Usefulness Rate und Signal-to-Noise: „these agents often face a fundamental trade-off, they either prioritize precision and risk missing critical vulnerabilities, or prioritize recall at the cost of producing noisy and low-actionable feedback."

Für Support-Tickets trägt τ²-bench, weil es die drei Eigenschaften des Vorfalls prüft: eine Richtlinie, der das System folgen muss, Werkzeugnutzung und einen simulierten Kunden, der bei unvollständigen Antworten nachfasst. Die Spreizung auf dem öffentlichen Leaderboard ist deutlich: Claude Opus 4.5 79 Prozent, GPT-5.2 73, Sonnet 4.5 63, GPT-4o 36. Als Sperrkriterium für quellengebundene Ausgaben dient das HHEM-Halluzinations-Leaderboard, gelesen als Mindestschwelle, denn eine niedrige Rate kann auch geringe Fähigkeit abbilden.

Für Textarbeit gibt es einen abrufbaren Anker mit Preisspalte, arena.ai Creative Writing (Stand 12.08.2026, 1,18 Mio. Stimmen). Die Konfidenzintervalle der Spitzengruppe von ±7 bis ±18 Punkten (über das ganze Feld ±5 bis ±28) machen die vorderen Ränge statistisch ununterscheidbar. Der Anker taugt damit als Schwelle: er beantwortet die Frage, ob ein Modell zur Spitzengruppe gehört, und innerhalb der Gruppe entscheidet der Preis.

Quellen: MindStudio, Interview mit GPQA-Autor David Rein, 05.05.2026 · vals.ai, GPQA-Auswertung, 15.08.2026 · Deep Research Bench, Stand 10.06.2026 · CR-Bench, arXiv 2603.11078, 10.03.2026 · τ²-bench, sierra-research/tau2-bench · CodeSOTA, τ²-bench-Leaderboard 2026 (Sekundärquelle) · Vectara HHEM-2.3, Werte referiert über CodingFleet 2026 (Sekundärquelle) · arena.ai, Creative Writing, Stand 12.08.2026

Stand 19.08.2026