Automatisierte Seite. Automatisch von KI verfasst und übersetzt und per Software mit den Quellen abgeglichen; keine menschliche Redaktion. SI-IQ ist ein Index auf Basis öffentlicher Benchmark-Ergebnisse, kein IQ-Test. So funktioniert es
MATH Level 5: Ergebnisse von KI-Modellen
MATH Level 5 ist ein Benchmark im Bereich Mathematik, durchgeführt von Epoch AI. Für 86 Modelle in unseren Daten liegt ein veröffentlichtes Ergebnis vor.
Er ist Teil des SI-IQ-Index (Ladung k = 1,27, Zufallsniveau 0 %).
- Evaluator
- Epoch AI
- Startseite des Benchmarks
- arxiv.org/abs/2103.03874
Ergebnisse
| 1 | GPT-5 OpenAI | 98,1 % | 121118–124 | 11 |
| 2 | GPT-5 mini OpenAI | 97,8 % | 115112–118 | 11 |
| 3 | o4-mini OpenAI | 97,8 % | 112109–115 | 10 |
| 4 | o3 OpenAI | 97,8 % | 116113–119 | 10 |
| 5 | Claude Sonnet 4.5 Anthropic | 97,7 % | 110107–113 | 11 |
| 6 | Qwen3-Max Alibaba | 97,1 % | 106103–110 | 6 zu wenige Daten |
| 7 | DeepSeek-R1 (May 2025)offen DeepSeek | 96,6 % | 104100–109 | 4 zu wenige Daten |
| 8 | o3-mini OpenAI | 96,5 % | 105101–108 | 9 |
| 9 | Claude Haiku 4.5 Anthropic | 96,4 % | 10499–108 | 7 |
| 10 | Gemini 2.5 Pro (May 2025) Google DeepMind | 95,9 % | 10498–110 | 3 zu wenige Daten |
| 11 | Gemini 2.5 Pro (Mar 2025) Google DeepMind | 95,6 % | 108102–113 | 3 zu wenige Daten |
| 12 | GPT-5 nano OpenAI | 95,2 % | 105102–109 | 10 |
| 13 | o1 OpenAI | 94,7 % | 10399–106 | 6 zu wenige Daten |
| 14 | DeepSeek-R1offen DeepSeek | 93,1 % | 9893–102 | 4 zu wenige Daten |
| 15 | Claude 3.7 Sonnet Anthropic | 91,2 % | 9995–103 | 5 |
| 16 | Grok-3 mini xAI | 90,9 % | 10095–105 | 4 zu wenige Daten |
| 17 | DeepSeek-R1-Distill-Llama-70Boffen DeepSeek | 89,9 % | 9288–97 | 3 zu wenige Daten |
| 18 | o1-mini OpenAI | 89,2 % | 9287–96 | 4 zu wenige Daten |
| 19 | Grok 3 xAI | 88,7 % | 9691–100 | 4 zu wenige Daten |
| 20 | GPT-4.1 mini OpenAI | 87,3 % | 9188–95 | 10 |
| 21 | DeepSeek-R1-Distill-Qwen-14Boffen DeepSeek | 87,1 % | 8984–93 | 3 zu wenige Daten |
| 22 | Claude Opus 4 Anthropic | 85,0 % | 9893–102 | 5 |
| 23 | Claude Sonnet 4 Anthropic | 84,4 % | 9793–101 | 5 |
| 24 | Gemini 2.0 Pro Google DeepMind | 83,5 % | 8983–94 | 3 zu wenige Daten |
| 25 | GPT-4.1 OpenAI | 83,0 % | 9187–94 | 10 |
| 26 | Gemini 2.0 Flash (Feb 2025) Google DeepMind, Google | 82,2 % | 8782–91 | 3 zu wenige Daten |
| 27 | o1-preview OpenAI | 81,6 % | 8480–89 | 3 zu wenige Daten |
| 28 | Mistral Medium 3 Mistral AI | 81,6 % | 8681–90 | 4 zu wenige Daten |
| 29 | GPT-4.5 OpenAI | 78,6 % | 8783–92 | 3 zu wenige Daten |
| 30 | DeepSeek-V3 (Mar 2025)offen DeepSeek | 75,5 % | 8581–90 | 4 zu wenige Daten |
| 31 | Gemma 3 27Boffen Google DeepMind | 74,0 % | 7772–81 | 5 |
| 32 | Llama 4 Maverickoffen Meta AI | 73,0 % | 8177–85 | 6 |
| 33 | Gemini 1.5 Pro (Sept 2024) Google DeepMind | 70,4 % | 8075–85 | 3 zu wenige Daten |
| 34 | GPT-4.1 nano OpenAI | 70,0 % | 7672–80 | 8 |
| 35 | Qwen3-235B-A22Boffen Alibaba | 68,9 % | 8580–91 | 3 zu wenige Daten |
| 36 | Qwen2.5-Max Alibaba | 67,2 % | 7873–82 | 4 zu wenige Daten |
| 37 | Qwen Plus (Jan 2025) Alibaba | 65,3 % | 7671–81 | 3 zu wenige Daten |
| 38 | Phi-4offen Microsoft Research | 64,9 % | 7671–81 | 4 zu wenige Daten |
| 39 | DeepSeek-V3offen DeepSeek | 64,9 % | 7773–82 | 4 zu wenige Daten |
| 40 | Grok-2 (Dec 2024) xAI | 63,5 % | 7570–80 | 3 zu wenige Daten |
| 41 | Qwen2.5-72Boffen Alibaba | 63,2 % | 7268–77 | 4 zu wenige Daten |
| 42 | Llama 4 Scoutoffen Meta AI | 62,3 % | 7368–78 | 4 zu wenige Daten |
| 43 | Gemini 1.5 Flash (Sep 2024) Google DeepMind | 61,9 % | 7470–79 | 3 zu wenige Daten |
| 44 | Claude 3.5 Sonnet (October 2024) Anthropic | 56,9 % | 7671–80 | 4 zu wenige Daten |
| 45 | Qwen-Turbo Alibaba | 56,2 % | 6964–75 | 3 zu wenige Daten |
| 46 | Qwen2.5-32Boffen Alibaba | 56,1 % | 7166–76 | 3 zu wenige Daten |
| 47 | GPT-4o (Aug 2024) OpenAI | 53,3 % | 7368–77 | 8 |
| 48 | GPT-4o mini OpenAI | 52,6 % | 6864–73 | 9 |
| 49 | Claude 3.5 Sonnet Anthropic | 51,7 % | 7166–76 | 3 zu wenige Daten |
| 50 | GPT-4o (May 2024) OpenAI | 51,0 % | 7066–75 | 4 zu wenige Daten |
| 51 | Mistral Large 2 (Nov 2024)offen Mistral AI | 50,3 % | 7166–76 | 4 zu wenige Daten |
| 52 | GPT-4o (Nov 2024) OpenAI | 49,8 % | 6964–73 | 5 |
| 53 | Llama 3.1-405Boffen Meta AI | 49,8 % | 7065–75 | 3 zu wenige Daten |
| 54 | Mistral Small 3.1offen Mistral AI | 46,8 % | 6863–73 | 3 zu wenige Daten |
| 55 | GPT-4 Turbo (Apr 2024) OpenAI | 46,7 % | 6864–73 | 4 zu wenige Daten |
| 56 | Claude 3.5 Haiku Anthropic | 46,4 % | 6762–72 | 4 zu wenige Daten |
| 57 | Mistral Large 2 (Jul 2024)offen Mistral AI | 44,8 % | 6863–73 | 3 zu wenige Daten |
| 58 | Mistral Small 3offen Mistral AI | 44,8 % | 6762–72 | 3 zu wenige Daten |
| 59 | Llama 3.3 70Boffen Meta AI | 41,6 % | 6661–71 | 5 |
| 60 | Gemini 1.5 Pro (May 2024) Google DeepMind | 40,7 % | 6661–71 | 3 zu wenige Daten |
| 61 | Qwen2-72Boffen Alibaba | 39,1 % | 6458–69 | 2 zu wenige Daten |
| 62 | Claude 3 Opus Anthropic | 37,5 % | 6560–70 | 5 zu wenige Daten |
| 63 | Llama 3.1-70Boffen Meta AI | 36,7 % | 6358–68 | 3 zu wenige Daten |
| 64 | Gemma 2 27Boffen Google DeepMind | 27,9 % | 5752–63 | 3 zu wenige Daten |
| 65 | WizardLM-2 8x22Boffen Microsoft | 25,7 % | 5953–64 | 2 zu wenige Daten |
| 66 | Gemini 1.5 Flash (May 2024) Google DeepMind | 25,1 % | 5853–63 | 3 zu wenige Daten |
| 67 | Mistral Large Mistral AI | 24,5 % | 5651–62 | 3 zu wenige Daten |
| 68 | Mixtral 8x22Boffen Mistral AI | 24,2 % | 5549–61 | 2 zu wenige Daten |
| 69 | GPT-4 (Jun 2023) OpenAI | 23,0 % | 5751–63 | 4 zu wenige Daten |
| 70 | Llama 3.1-8Boffen Meta AI | 22,9 % | 5549–60 | 3 zu wenige Daten |
| 71 | Hermes 2 Theta Llama-3 70Boffen Nous Research, Arcee AI | 22,7 % | 5550–61 | 3 zu wenige Daten |
| 72 | Llama 3-70Boffen Meta AI | 22,6 % | 5752–62 | 3 zu wenige Daten |
| 73 | Gemma 2 9Boffen Google DeepMind | 21,0 % | 5347–59 | 3 zu wenige Daten |
| 74 | Claude 3 Sonnet Anthropic | 18,2 % | 5449–59 | 3 zu wenige Daten |
| 75 | phi-3-medium 14Boffen Microsoft | 17,6 % | 5145–57 | 2 zu wenige Daten |
| 76 | GPT-3.5 Turbo (Nov 2023) OpenAI | 15,9 % | 4943–55 | 2 zu wenige Daten |
| 77 | Ministral 8Boffen Mistral AI | 14,9 % | 4741–53 | 3 zu wenige Daten |
| 78 | Claude 3 Haiku Anthropic | 14,9 % | 5045–56 | 3 zu wenige Daten |
| 79 | Ministral 3B Mistral AI | 14,4 % | 4943–55 | 2 zu wenige Daten |
| 80 | Claude 2 Anthropic | 11,7 % | 4842–53 | 3 zu wenige Daten |
| 81 | DBRXoffen Databricks | 11,7 % | 4640–52 | 2 zu wenige Daten |
| 82 | GPT-3.5 Turbo (Jan 2024) OpenAI | 11,6 % | 4742–53 | 5 zu wenige Daten |
| 83 | Gemini 1.0 Pro Google DeepMind | 11,2 % | 4640–52 | 3 zu wenige Daten |
| 84 | Mistral NeMooffen Mistral AI | 10,8 % | 4741–53 | 3 zu wenige Daten |
| 85 | Mixtral 8x7Boffen Mistral AI | 10,0 % | 4337–49 | 2 zu wenige Daten |
| 86 | Llama 3-8Boffen Meta AI | 6,1 % | 4034–46 | 3 zu wenige Daten |
Datenquellen: Aider polyglot leaderboard data (Apache-2.0); Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0); API list prices via LiteLLM's price table (MIT); each price links to the developer's pricing page; Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter..