Automatisierte Seite. Automatisch von KI verfasst und übersetzt und per Software mit den Quellen abgeglichen; keine menschliche Redaktion. SI-IQ ist ein Index auf Basis öffentlicher Benchmark-Ergebnisse, kein IQ-Test. So funktioniert es

GPQA Diamond: Ergebnisse von KI-Modellen

GPQA Diamond ist ein Benchmark im Bereich Wissen, durchgeführt von Epoch AI. Für 205 Modelle in unseren Daten liegt ein veröffentlichtes Ergebnis vor.

Er ist Teil des SI-IQ-Index (Ladung α = 0,75, Zufallsniveau 25 %).

Evaluator
Epoch AI
Startseite des Benchmarks
arxiv.org/abs/2311.12022

Ergebnisse

Quelle
1 Gemini 4 Argon Google DeepMind96,4 %140137–143 9 09.2026Epoch AI Benchmarking Hub
2 GPT-6 Astra OpenAI95,8 %150146–153 9 09.2026Epoch AI Benchmarking Hub
3 Claude Sonnet 5.5 Anthropic95,6 %140137–143 9 09.2026Epoch AI Benchmarking Hub
4 GPT-6.1 Sol OpenAI95,4 %148144–152 9 09.2026Epoch AI Benchmarking Hub
5 Gemini 3.8 Flash Google DeepMind95,4 %130127–133 9 09.2026Epoch AI Benchmarking Hub
6 Gemini 3.7 Flash Google DeepMind94,8 %131128–134 9 08.2026Epoch AI Benchmarking Hub
7 GPT-5.4 Pro OpenAI94,6 %135131–138 5 zu wenige Daten 03.2026Epoch AI Benchmarking Hub
8 Gemini 3.1 Pro Google DeepMind94,4 %127124–130 10 02.2026Epoch AI Benchmarking Hub
9 GPT-6 Sol OpenAI94,3 %140137–144 9 09.2026Epoch AI Benchmarking Hub
10 Gemini 3.6 Flash Google DeepMind94,1 %125122–128 9 07.2026Epoch AI Benchmarking Hub
11 GPT-5.5 OpenAI94,0 %138135–141 10 04.2026Epoch AI Benchmarking Hub
12 Grok 4.6 xAI94,0 %126123–129 9 08.2026Epoch AI Benchmarking Hub
13 GPT-5.5 Pro OpenAI93,9 %139135–142 5 zu wenige Daten 04.2026Epoch AI Benchmarking Hub
14 Claude Opus 5 Anthropic93,9 %136133–140 9 07.2026Epoch AI Benchmarking Hub
15 GPT-5.6 Sol OpenAI93,5 %140137–143 9 07.2026Epoch AI Benchmarking Hub
16 Grok 4.5 xAI93,4 %124121–127 6 zu wenige Daten 07.2026Epoch AI Benchmarking Hub
17 GPT-5.6 Terra OpenAI93,3 %134131–137 9 07.2026Epoch AI Benchmarking Hub
18 GPT-5.4 OpenAI93,3 %131128–133 10 03.2026Epoch AI Benchmarking Hub
19 Kimi K3offen Moonshot93,1 %127124–130 9 07.2026Epoch AI Benchmarking Hub
20 Gemini 3.5 Flash Google DeepMind92,8 %126123–129 10 05.2026Epoch AI Benchmarking Hub
21 Grok 4.7 xAI92,7 %123120–127 7 zu wenige Daten 09.2026Epoch AI Benchmarking Hub
22 Qwen 3.8 Max Alibaba92,7 %130127–133 7 zu wenige Daten 08.2026Epoch AI Benchmarking Hub
23 Gemini 3 Pro Google DeepMind92,6 %122115–130 4 zu wenige Daten 11.2025Epoch AI Benchmarking Hub
24 Qwen3.8 Max (0902) Alibaba92,3 %127123–130 6 zu wenige Daten 09.2026Epoch AI Benchmarking Hub
25 GLM-5.2offen Z.ai (Zhipu AI)91,9 %121118–124 10 06.2026Epoch AI Benchmarking Hub
26 DeepSeek V4 Pro 0813offen DeepSeek91,7 %128125–131 9 08.2026Epoch AI Benchmarking Hub
27 GPT-5.6 Luna OpenAI91,6 %130127–133 9 07.2026Epoch AI Benchmarking Hub
28 GPT-5.2 OpenAI91,4 %125122–128 11 12.2025Epoch AI Benchmarking Hub
29 Claude Opus 4.8 Anthropic91,0 %132129–135 9 05.2026Epoch AI Benchmarking Hub
30 DeepSeek V4 Flash 0731offen DeepSeek91,0 %124121–127 9 07.2026Epoch AI Benchmarking Hub
31 DeepSeek-V4-Prooffen DeepSeek90,9 %117113–120 10 04.2026Epoch AI Benchmarking Hub
32 GLM-5.3offen Z.ai (Zhipu AI)90,9 %125122–128 9 08.2026Epoch AI Benchmarking Hub
33 MiniMax-M3offen MiniMax90,9 %108102–114 6 06.2026Epoch AI Benchmarking Hub
34 Qwen3.7-Max Alibaba90,9 %125122–128 10 05.2026Epoch AI Benchmarking Hub
35 Kimi K2.6offen Moonshot90,8 %121118–124 10 04.2026Epoch AI Benchmarking Hub
36 Claude Opus 5.5 Anthropic90,6 %144141–148 9 09.2026Epoch AI Benchmarking Hub
37 Claude Opus 4.6 Anthropic90,5 %123120–126 10 02.2026Epoch AI Benchmarking Hub
38 Claude Sonnet 5 Anthropic90,5 %126123–129 9 06.2026Epoch AI Benchmarking Hub
39 GPT-6 Luna OpenAI90,5 %130127–133 9 09.2026Epoch AI Benchmarking Hub
40 Claude Opus 4.7 Anthropic90,2 %127124–130 10 04.2026Epoch AI Benchmarking Hub
41 GLM-5.3-Flashoffen Z.ai (Zhipu AI)90,2 %120117–124 8 08.2026Epoch AI Benchmarking Hub
42 GLM-5.1offen Z.ai (Zhipu AI)89,9 %116112–120 8 04.2026Epoch AI Benchmarking Hub
43 DeepSeek V4.1 Flashoffen DeepSeek89,8 %128125–131 9 09.2026Epoch AI Benchmarking Hub
44 Muse Spark Meta AI89,8 %118110–126 2 zu wenige Daten 04.2026Epoch AI Benchmarking Hub
45 Claude Haiku 5.5 Anthropic89,6 %129126–132 9 10.2026Epoch AI Benchmarking Hub
46 Gemini 3 Flash Google DeepMind89,4 %122119–125 10 12.2025Epoch AI Benchmarking Hub
47 Grok 4.3 Beta xAI88,8 %117114–121 6 zu wenige Daten 04.2026Epoch AI Benchmarking Hub
48 Muse Spark Openoffen Meta AI88,6 %127124–130 7 10.2026Epoch AI Benchmarking Hub
49 Inkling-Smalloffen Thinking Machines88,5 %118115–122 8 07.2026Epoch AI Benchmarking Hub
50 Qwen 3.6 Plus Alibaba88,4 %113109–117 7 zu wenige Daten 03.2026Epoch AI Benchmarking Hub
51 Inklingoffen Thinking Machines88,3 %114110–117 8 07.2026Epoch AI Benchmarking Hub
52 Mistral Large 4 Mistral AI88,1 %122119–125 7 zu wenige Daten 10.2026Epoch AI Benchmarking Hub
53 Kimi K2.7 Codeoffen Moonshot87,9 %118115–122 8 06.2026Epoch AI Benchmarking Hub
54 Qwen3.7-Plus Alibaba87,9 %115110–119 6 06.2026Epoch AI Benchmarking Hub
55 GLM-5offen Z.ai (Zhipu AI)87,8 %112105–118 5 zu wenige Daten 02.2026Epoch AI Benchmarking Hub
56 GPT-5.1 OpenAI87,6 %120115–125 8 11.2025Epoch AI Benchmarking Hub
57 Kimi K2.5offen Moonshot87,6 %119112–125 6 01.2026Epoch AI Benchmarking Hub
58 Claude Sonnet 4.6 Anthropic87,4 %113108–118 8 02.2026Epoch AI Benchmarking Hub
59 Qwen 3.6 Max (Preview) Alibaba87,4 %118112–124 5 zu wenige Daten 04.2026Epoch AI Benchmarking Hub
60 Grok 4 xAI87,0 %114107–120 4 zu wenige Daten 07.2025Epoch AI Benchmarking Hub
61 GPT-5.4 Mini OpenAI86,9 %117113–120 9 03.2026Epoch AI Benchmarking Hub
62 Qwen3.5 397B-A17Boffen Alibaba86,4 %114109–118 6 02.2026Epoch AI Benchmarking Hub
63 GPT-5 OpenAI86,2 %121118–124 12 08.2025Epoch AI Benchmarking Hub
64 Claude Opus 4.5 Anthropic86,0 %115111–118 11 11.2025Epoch AI Benchmarking Hub
65 Claude Fable 5 Anthropic85,9 %138134–141 9 06.2026Epoch AI Benchmarking Hub
66 Qwen3.6 27Boffen Alibaba85,9 %115110–119 6 04.2026Epoch AI Benchmarking Hub
67 Nemotron 3 Ultraoffen Nvidia85,4 %114108–120 4 zu wenige Daten 06.2026Epoch AI Benchmarking Hub
68 Gemini 2.5 Pro (Jun 2025) Google DeepMind85,3 %108104–112 8 06.2025Epoch AI Benchmarking Hub
69 Qwen 3.5 Plus (hosted 397B-A17B) Alibaba84,8 %109103–115 5 zu wenige Daten 02.2026Epoch AI Benchmarking Hub
70 Qwen 3.6 35B-A3Boffen Alibaba84,8 %111107–115 6 04.2026Epoch AI Benchmarking Hub
71 Gemini 2.5 Pro (Mar 2025) Google DeepMind83,8 %108102–113 3 zu wenige Daten 03.2025Epoch AI Benchmarking Hub
72 Qwen3.5-35B-A3Boffen Alibaba83,5 %106100–112 4 zu wenige Daten 02.2026Epoch AI Benchmarking Hub
73 GLM-4.7offen Z.ai (Zhipu AI)83,3 %112107–118 6 12.2025Epoch AI Benchmarking Hub
74 Gemini 3.5 Flash-Lite Google DeepMind83,3 %109106–113 8 07.2026Epoch AI Benchmarking Hub
75 Qwen 3.6 Flash Alibaba83,3 %107103–111 6 zu wenige Daten 04.2026Epoch AI Benchmarking Hub
76 GPT-5.5 Instant OpenAI82,5 %107103–111 4 zu wenige Daten 05.2026Epoch AI Benchmarking Hub
77 Claude Sonnet 4.5 Anthropic82,3 %110107–113 12 09.2025Epoch AI Benchmarking Hub
78 Qwen 3.5 Flash (hosted 35B-A3B) Alibaba82,3 %107103–111 6 zu wenige Daten 02.2026Epoch AI Benchmarking Hub
79 Qwen3.7 Flash Alibaba82,3 %107103–112 4 zu wenige Daten 07.2026Epoch AI Benchmarking Hub
80 Gemini 3.1 Flash-Lite Google81,8 %109105–114 3 zu wenige Daten 03.2026Epoch AI Benchmarking Hub
81 o3 OpenAI81,8 %116113–119 10 04.2025Epoch AI Benchmarking Hub
82 Qwen3-235B-A22B-Thinking (Jul 2025)offen Alibaba80,1 %111105–118 6 07.2025Epoch AI Benchmarking Hub
83 Claude 3.7 Sonnet Anthropic79,7 %9995–103 5 02.2025Epoch AI Benchmarking Hub
84 o4-mini OpenAI79,6 %112109–115 10 04.2025Epoch AI Benchmarking Hub
85 Claude Sonnet 4 Anthropic79,2 %9793–101 6 05.2025Epoch AI Benchmarking Hub
86 Qwen3.5-9Boffen Alibaba79,0 %10195–107 4 zu wenige Daten 02.2026Epoch AI Benchmarking Hub
87 GPT-5.4 Nano OpenAI78,5 %118115–121 9 03.2026Epoch AI Benchmarking Hub
88 Claude Opus 4.1 Anthropic77,3 %105102–109 6 zu wenige Daten 08.2025Epoch AI Benchmarking Hub
89 o3-mini OpenAI77,0 %105101–108 9 01.2025Epoch AI Benchmarking Hub
90 o1 OpenAI76,8 %10399–106 6 zu wenige Daten 12.2024Epoch AI Benchmarking Hub
91 DeepSeek-R1 (May 2025)offen DeepSeek76,3 %104100–109 5 zu wenige Daten 05.2025Epoch AI Benchmarking Hub
92 Claude Opus 4 Anthropic76,3 %9893–102 5 05.2025Epoch AI Benchmarking Hub
93 Grok-3 mini xAI76,3 %10095–105 4 zu wenige Daten 04.2025Epoch AI Benchmarking Hub
94 Gemma 4 31B IToffen Google DeepMind75,8 %10498–110 5 zu wenige Daten 04.2026Epoch AI Benchmarking Hub
95 Grok 3 xAI75,8 %9691–100 4 zu wenige Daten 04.2025Epoch AI Benchmarking Hub
96 gpt-oss-120boffen OpenAI75,8 %10699–112 6 08.2025Epoch AI Benchmarking Hub
97 GPT-5 mini OpenAI75,0 %115112–118 12 08.2025Epoch AI Benchmarking Hub
98 Gemma 4 26B A4Boffen Google DeepMind73,2 %106100–112 4 zu wenige Daten 04.2026Epoch AI Benchmarking Hub
99 Qwen3-Max Alibaba72,6 %106103–110 6 zu wenige Daten 09.2025Epoch AI Benchmarking Hub
100 DeepSeek-R1offen DeepSeek71,7 %9893–102 4 zu wenige Daten 01.2025Epoch AI Benchmarking Hub
101 seed-oss-36b-instruct —71,5 %9993–106 2 zu wenige Daten 08.2025Epoch AI Benchmarking Hub
102 Claude Haiku 4.5 Anthropic71,2 %10499–108 8 10.2025Epoch AI Benchmarking Hub
103 Qwen3-235B-A22Boffen Alibaba70,7 %8580–91 3 zu wenige Daten 04.2025Epoch AI Benchmarking Hub
104 Qwen3-30B-A3B-Thinking (Jul 2025)offen Alibaba70,1 %10093–106 2 zu wenige Daten 07.2025Epoch AI Benchmarking Hub
105 GPT-5 nano OpenAI69,4 %105102–109 11 08.2025Epoch AI Benchmarking Hub
106 GPT-4.5 OpenAI68,7 %8783–92 3 zu wenige Daten 02.2025Epoch AI Benchmarking Hub
107 DeepSeek-V3 (Mar 2025)offen DeepSeek67,6 %8581–90 5 zu wenige Daten 03.2025Epoch AI Benchmarking Hub
108 Llama 4 Maverickoffen Meta AI67,0 %8177–85 7 04.2025Epoch AI Benchmarking Hub
109 GPT-4.1 OpenAI66,9 %9187–94 11 04.2025Epoch AI Benchmarking Hub
110 Gemini 2.5 Pro (May 2025) Google DeepMind66,7 %10498–110 3 zu wenige Daten 05.2025Epoch AI Benchmarking Hub
111 GPT-4.1 mini OpenAI65,8 %9188–95 11 04.2025Epoch AI Benchmarking Hub
112 Qwen3-32Boffen Alibaba65,7 %9589–100 6 04.2025Epoch AI Benchmarking Hub
113 Gemini 2.0 Pro Google DeepMind65,7 %8983–94 3 zu wenige Daten 02.2025Epoch AI Benchmarking Hub
114 QWQ-Plus Alibaba65,4 %9079–102 1 zu wenige Daten 04.2025Epoch AI Benchmarking Hub
115 QwQ-32Boffen Alibaba65,3 %9286–98 3 zu wenige Daten 03.2025Epoch AI Benchmarking Hub
116 DeepSeek-R1-Distill-Qwen-32Boffen DeepSeek64,1 %9387–100 2 zu wenige Daten 01.2025Epoch AI Benchmarking Hub
117 Gemini 2.0 Flash (Feb 2025) Google DeepMind, Google64,1 %8782–91 3 zu wenige Daten 02.2025Epoch AI Benchmarking Hub
118 Qwen3-14Boffen Alibaba63,8 %9387–99 5 zu wenige Daten 04.2025Epoch AI Benchmarking Hub
119 o1-mini OpenAI62,4 %9287–96 4 zu wenige Daten 09.2024Epoch AI Benchmarking Hub
120 Qwen3-30B-A3Boffen Alibaba61,7 %9488–100 4 zu wenige Daten 04.2025Epoch AI Benchmarking Hub
121 gpt-oss-20boffen OpenAI60,8 %9589–101 4 zu wenige Daten 08.2025Epoch AI Benchmarking Hub
122 glm-4.7-flash —60,5 %9488–100 4 zu wenige Daten —Epoch AI Benchmarking Hub
123 Mistral Medium 3 Mistral AI59,5 %8681–90 4 zu wenige Daten 05.2025Epoch AI Benchmarking Hub
124 Gemini 1.5 Pro (Sept 2024) Google DeepMind57,2 %8075–85 3 zu wenige Daten 09.2024Epoch AI Benchmarking Hub
125 Gemini 2.0 Flash Thinking (Jan 2025) Google DeepMind, Google57,1 %8983–95 3 zu wenige Daten 01.2025Epoch AI Benchmarking Hub
126 Qwen3-8Boffen Alibaba56,8 %9184–97 3 zu wenige Daten 04.2025Epoch AI Benchmarking Hub
127 DeepSeek-V3offen DeepSeek56,5 %7773–82 5 zu wenige Daten 12.2024Epoch AI Benchmarking Hub
128 Qwen2.5-Max Alibaba56,1 %7873–82 4 zu wenige Daten 01.2025Epoch AI Benchmarking Hub
129 Magistral Small 1.0offen Mistral AI56,1 %8376–89 2 zu wenige Daten 06.2025Epoch AI Benchmarking Hub
130 Phi-4offen Microsoft Research56,1 %7671–81 4 zu wenige Daten 12.2024Epoch AI Benchmarking Hub
131 DeepSeek-R1-Distill-Llama-70Boffen DeepSeek55,7 %9288–97 3 zu wenige Daten 01.2025Epoch AI Benchmarking Hub
132 Qwen3-30B-A3B-Instruct (Jul 2025)offen Alibaba55,6 %9186–97 5 zu wenige Daten 07.2025Epoch AI Benchmarking Hub
133 Claude 3.5 Sonnet (October 2024) Anthropic55,3 %7671–80 4 zu wenige Daten 10.2024Epoch AI Benchmarking Hub
134 Claude 3.5 Sonnet Anthropic54,0 %7166–76 3 zu wenige Daten 06.2024Epoch AI Benchmarking Hub
135 Grok-2 (Dec 2024) xAI53,8 %7570–80 3 zu wenige Daten 12.2024Epoch AI Benchmarking Hub
136 Qwen3-4Boffen Alibaba52,3 %7765–89 1 zu wenige Daten 04.2025Epoch AI Benchmarking Hub
137 Llama 4 Scoutoffen Meta AI51,8 %7368–78 4 zu wenige Daten 04.2025Epoch AI Benchmarking Hub
138 Mistral Large 2 (Nov 2024)offen Mistral AI51,3 %7166–76 4 zu wenige Daten 11.2024Epoch AI Benchmarking Hub
139 Llama 3.1-405Boffen Meta AI50,9 %7065–75 3 zu wenige Daten 07.2024Epoch AI Benchmarking Hub
140 o1-preview OpenAI50,3 %8480–89 3 zu wenige Daten 09.2024Epoch AI Benchmarking Hub
141 GPT-4o (Aug 2024) OpenAI49,2 %7368–77 9 08.2024Epoch AI Benchmarking Hub
142 Qwen2.5-72Boffen Alibaba49,1 %7268–77 5 zu wenige Daten 09.2024Epoch AI Benchmarking Hub
143 Mistral Small 3.2offen Mistral AI49,1 %8074–87 3 zu wenige Daten 06.2025Epoch AI Benchmarking Hub
144 Mistral Large 2 (Jul 2024)offen Mistral AI49,0 %6863–73 3 zu wenige Daten 07.2024Epoch AI Benchmarking Hub
145 GPT-4.1 nano OpenAI48,9 %7672–80 9 04.2025Epoch AI Benchmarking Hub
146 GPT-4o (May 2024) OpenAI48,9 %7066–75 5 zu wenige Daten 05.2024Epoch AI Benchmarking Hub
147 Qwen Plus (Jan 2025) Alibaba48,1 %7671–81 3 zu wenige Daten 01.2025Epoch AI Benchmarking Hub
148 GPT-4o (Nov 2024) OpenAI47,9 %6964–73 5 11.2024Epoch AI Benchmarking Hub
149 Gemma 3 27Boffen Google DeepMind47,7 %7772–81 5 03.2025Epoch AI Benchmarking Hub
150 Magistral Small 1.2offen Mistral AI47,6 %7972–86 2 zu wenige Daten 09.2025Epoch AI Benchmarking Hub
151 Mistral Small 3.1offen Mistral AI47,5 %6863–73 3 zu wenige Daten 03.2025Epoch AI Benchmarking Hub
152 Llama 3.3 70Boffen Meta AI47,4 %6661–71 6 12.2024Epoch AI Benchmarking Hub
153 Gemini 1.5 Flash (Sep 2024) Google DeepMind47,3 %7470–79 3 zu wenige Daten 09.2024Epoch AI Benchmarking Hub
154 Mistral Small 3offen Mistral AI47,3 %6762–72 3 zu wenige Daten 01.2025Epoch AI Benchmarking Hub
155 Claude 3 Opus Anthropic47,2 %6560–70 5 zu wenige Daten 02.2024Epoch AI Benchmarking Hub
156 GPT-4 Turbo (Apr 2024) OpenAI46,6 %6864–73 4 zu wenige Daten 04.2024Epoch AI Benchmarking Hub
157 Qwen2.5-32Boffen Alibaba46,1 %7166–76 3 zu wenige Daten 09.2024Epoch AI Benchmarking Hub
158 Gemini 1.5 Pro (May 2024) Google DeepMind45,9 %6661–71 3 zu wenige Daten 05.2024Epoch AI Benchmarking Hub
159 qwen3-4b-instruct-2507 —45,8 %8579–92 3 zu wenige Daten 08.2025Epoch AI Benchmarking Hub
160 glm-4.7-flash_none —45,1 %7770–84 2 zu wenige Daten —Epoch AI Benchmarking Hub
161 DeepSeek-R1-Distill-Qwen-14Boffen DeepSeek44,7 %8984–93 3 zu wenige Daten 01.2025Epoch AI Benchmarking Hub
162 Llama 3.1-70Boffen Meta AI44,2 %6358–68 3 zu wenige Daten 07.2024Epoch AI Benchmarking Hub
163 WizardLM-2 8x22Boffen Microsoft43,4 %5953–64 2 zu wenige Daten 04.2024Epoch AI Benchmarking Hub
164 Qwen-Turbo Alibaba41,8 %6964–75 3 zu wenige Daten 11.2024Epoch AI Benchmarking Hub
165 Qwen2-72Boffen Alibaba40,8 %6458–69 2 zu wenige Daten 06.2024Epoch AI Benchmarking Hub
166 Claude 3 Sonnet Anthropic40,6 %5449–59 3 zu wenige Daten 02.2024Epoch AI Benchmarking Hub
167 Llama 3-70Boffen Meta AI40,6 %5752–62 3 zu wenige Daten 04.2024Epoch AI Benchmarking Hub
168 Gemini 1.5 Flash (May 2024) Google DeepMind40,4 %5853–63 3 zu wenige Daten 05.2024Epoch AI Benchmarking Hub
169 Gemma 3 12Boffen Google DeepMind39,5 %7366–79 5 zu wenige Daten 03.2025Epoch AI Benchmarking Hub
170 Mistral Large Mistral AI38,8 %5651–62 3 zu wenige Daten 02.2024Epoch AI Benchmarking Hub
171 Claude 3.5 Haiku Anthropic38,1 %6762–72 4 zu wenige Daten 10.2024Epoch AI Benchmarking Hub
172 Qwen3-1.7Boffen Alibaba38,0 %6557–73 3 zu wenige Daten 04.2025Epoch AI Benchmarking Hub
173 GPT-4o mini OpenAI37,7 %6864–73 10 07.2024Epoch AI Benchmarking Hub
174 Hermes 2 Theta Llama-3 70Boffen Nous Research, Arcee AI37,5 %5550–61 3 zu wenige Daten 06.2024Epoch AI Benchmarking Hub
175 Gemma 2 27Boffen Google DeepMind36,5 %5752–63 3 zu wenige Daten 06.2024Epoch AI Benchmarking Hub
176 Claude 3 Haiku Anthropic36,3 %5045–56 3 zu wenige Daten 03.2024Epoch AI Benchmarking Hub
177 GPT-4 (Mar 2023) OpenAI35,7 %5240–65 2 zu wenige Daten 03.2023Epoch AI Benchmarking Hub
178 Qwen2.5-7Boffen Alibaba35,5 %5141–60 4 zu wenige Daten 09.2024Epoch AI Benchmarking Hub
179 Claude 2 Anthropic34,7 %4842–53 3 zu wenige Daten 07.2023Epoch AI Benchmarking Hub
180 Mixtral 8x22Boffen Mistral AI34,1 %5549–61 2 zu wenige Daten 04.2024Epoch AI Benchmarking Hub
181 Gemini 1.0 Pro Google DeepMind34,0 %4640–52 3 zu wenige Daten 12.2023Epoch AI Benchmarking Hub
182 Eurus-2-7B-PRIMEoffen Tsinghua University, University of Illinois Urbana-Champaign (UIUC), Shanghai AI Lab, Peking University, Shanghai Jiao Tong University, CUHK Shenzhen Research Institute33,9 %5135–67 1 zu wenige Daten 12.2024Epoch AI Benchmarking Hub
183 DeepSeek-R1-Distill-Qwen-1.5Boffen DeepSeek33,6 %7365–80 2 zu wenige Daten 01.2025Epoch AI Benchmarking Hub
184 Claude 2.1 Anthropic33,0 %5240–64 2 zu wenige Daten 11.2023Epoch AI Benchmarking Hub
185 Gemini 1.5 Flash 8B Google DeepMind33,0 %5747–67 2 zu wenige Daten 10.2024Epoch AI Benchmarking Hub
186 DBRXoffen Databricks32,9 %4640–52 2 zu wenige Daten 03.2024Epoch AI Benchmarking Hub
187 GPT-4 (Jun 2023) OpenAI30,7 %5751–63 4 zu wenige Daten 06.2023Epoch AI Benchmarking Hub
188 Mixtral 8x7Boffen Mistral AI30,6 %4337–49 2 zu wenige Daten 12.2023Epoch AI Benchmarking Hub
189 Mistral NeMooffen Mistral AI29,9 %4741–53 3 zu wenige Daten 07.2024Epoch AI Benchmarking Hub
190 granite-4.0-micro —28,3 %5441–67 2 zu wenige Daten 10.2025Epoch AI Benchmarking Hub
191 GPT-3.5 Turbo (Nov 2023) OpenAI28,0 %4943–55 2 zu wenige Daten 11.2023Epoch AI Benchmarking Hub
192 phi-3-medium 14Boffen Microsoft27,6 %5145–57 2 zu wenige Daten 04.2024Epoch AI Benchmarking Hub
193 Gemma 2 9Boffen Google DeepMind27,5 %5347–59 3 zu wenige Daten 06.2024Epoch AI Benchmarking Hub
194 GPT-3.5 Turbo (Jan 2024) OpenAI27,2 %4742–53 5 zu wenige Daten 01.2024Epoch AI Benchmarking Hub
195 Ministral 8Boffen Mistral AI27,1 %4741–53 3 zu wenige Daten 10.2024Epoch AI Benchmarking Hub
196 Llama 3.1-8Boffen Meta AI27,0 %5549–60 4 zu wenige Daten 07.2024Epoch AI Benchmarking Hub
197 Llama 3-8Boffen Meta AI26,1 %4034–46 3 zu wenige Daten 04.2024Epoch AI Benchmarking Hub
198 Ministral 3B Mistral AI25,3 %4943–55 2 zu wenige Daten 10.2024Epoch AI Benchmarking Hub
199 granite-4.0-1b —24,0 %5537–74 2 zu wenige Daten 10.2025Epoch AI Benchmarking Hub
200 Llama 3.2 1Boffen Meta AI23,9 %4227–58 3 zu wenige Daten 09.2024Epoch AI Benchmarking Hub
201 Gemma 3 4Boffen Google DeepMind23,2 %6353–73 4 zu wenige Daten 03.2025Epoch AI Benchmarking Hub
202 Gemma 3 1Boffen Google DeepMind19,9 %4025–55 3 zu wenige Daten 03.2025Epoch AI Benchmarking Hub
203 Mistral 7B v0.3offen Mistral AI15,2 %5434–75 2 zu wenige Daten 05.2024Epoch AI Benchmarking Hub
204 granite-4.0-350m —11,2 %5337–68 3 zu wenige Daten 10.2025Epoch AI Benchmarking Hub
205 deepseek-r1-0528-qwen3-8b —9,3 %9083–98 2 zu wenige Daten 05.2025Epoch AI Benchmarking Hub

Datenquellen: Aider polyglot leaderboard data (Apache-2.0); Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0); LiteLLM, model_prices_and_context_window.json (MIT); Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter (Lizenzen und Änderungen).