Aantal vragen
10
10 wiskundige en logische problemen — van kansrekening tot valstrikvragen. De zwaarste en meest discriminerende test van de suite.
Tien problemen die oplopen in moeilijkheidsgraad, verspreid over 8 wiskundige domeinen plus 2 valstrikvragen. Dit is de zwaarste test van de hele suite: de meeste modellen falen op minstens de helft van de vragen, en alleen de absolute top haalt 10/10.
Plus 2 valstrikvragen die expres misleidend zijn geformuleerd — het model moet de valkuil herkennen, niet het voor de hand liggende foute antwoord geven.
GPT-OSS-120B, Nemotron-3-Super-120B, Nemotron-3.5-Lightning, en Gemma 4 31B. Alle vier vereisen thinking AAN voor deze score.
Token-efficiëntie: GPT-OSS gebruikt 250-872 tokens per antwoord. Nemotron-3.5: 571-1959. Gemma 4 met --reasoning-budget 800: 228-1585 tokens. Nemotron-3-Super: 129-917. GPT-OSS en Nemotron-3-Super zijn het efficiëntst.
⚠️ Qwen3.6-35B: 6/10, Qwen3.5-122B: 5/10. Beide modellen lopen binnen het standaard 2000-tokenbudget leeg — het denkproces is te verbose. Met 6000 tokens haalt Qwen3.6 9/10, maar één vraag blijft structureel falen, zelfs nadat het model intern het correcte antwoord heeft gevonden. Het faalt in de vertaling van denkstap naar eindantwoord.
Dit is het meest verrassende resultaat van de hele benchmark: de Qwen3.x-lijn is op papier indrukwekkend (30B-235B params, razendsnel, 4/4 op harde taken), maar op rekenwerk presteren ze dramatisch onder hun gewichtsklasse. Het denkproces is kwantitatief veel, maar kwalitatief inefficient — veel tokens die niet tot het juiste antwoord leiden.
In tegenstelling tot andere tests (waar thinking vaak UIT moet), is rekenen de enige test in de suite waar thinking AAN verplicht is voor alle modellen. Zonder denkstap faalt elk model op de meerderheid van de vragen. Dit bevestigt dat wiskundig redeneren fundamenteel anders is dan kennis-retrieval of formaat-taken — het vereist een sequentieel denkproces dat niet in één forward pass past.
Niet alle correcte antwoorden zijn gelijk. GPT-OSS-120B lost dezelfde problemen op in 250-872 tokens, terwijl Qwen3.6 er 1220-6000+ voor nodig heeft — en dan nog steeds fout kan zijn. Efficiëntie in denken is een ondergewaardeerde modelkwaliteit: een model dat 3-10× meer tokens nodig heeft voor hetzelfde antwoord, is in productie 3-10× duurder en trager.
Gemma 4 31B is het enige dense model dat 10/10 haalt — alle andere 10/10 modellen zijn MoE. Dit is opmerkelijk omdat dense modellen op deze hardware 3-20× trager zijn. Gemma 4 bewijst dat architectuur niet alles zegt: een goed getraind dense model kan net zo accuraat zijn als de beste MoE-modellen, ook op het moeilijkste domein.
| Model | Score | Token-efficiëntie | Details |
|---|
Alleen modellen die de volledige 10 vragen hebben beantwoord. Token-aantallen zijn het waargenomen bereik per vraag.
Elk model krijgt dezelfde 10 vragen, in dezelfde volgorde. Scoring is handmatig op correct eindantwoord (tussenliggende denkstappen worden niet beoordeeld, maar het eindantwoord moet exact kloppen). Voor de valstrikvragen telt alleen het antwoord dat de valkuil herkent en vermijdt.
python3 scripts/bench_math.py <port> <model_name>
Dit script heeft géén nothink optie — rekenen vereist altijd thinking AAN. Voor Gemma 4 werd de server gestart met --reasoning on --reasoning-budget 800 om te voorkomen dat het model 1864+ tokens per vraag verbruikte (zonder budget-limiet duurde de volledige test ~2 uur).