Automatisierte Seite. Automatisch von KI verfasst und übersetzt und per Software mit den Quellen abgeglichen; keine menschliche Redaktion. SI-IQ ist ein Index auf Basis öffentlicher Benchmark-Ergebnisse, kein IQ-Test. So funktioniert es
SWE-bench Verified (Epoch AI run): Ergebnisse von KI-Modellen
SWE-bench Verified (Epoch AI run) ist ein Benchmark im Bereich Programmieren, durchgeführt von Epoch AI. Für 32 Modelle in unseren Daten liegt ein veröffentlichtes Ergebnis vor.
Er ist Teil des SI-IQ-Index (Ladung k = 0,47, Zufallsniveau 0 %).
- Evaluator
- Epoch AI
- Startseite des Benchmarks
- openai.com/index/introducing-swe-bench-verified
Ergebnisse
| 1 | Claude Opus 4.7 Anthropic | 83,5 % | 127124–130 | 9 |
| 2 | GPT-5.5 OpenAI | 80,6 % | 138135–141 | 9 |
| 3 | Gemini 3.5 Flash Google DeepMind | 79,3 % | 126123–129 | 9 |
| 4 | Claude Opus 4.6 Anthropic | 78,7 % | 123120–126 | 9 |
| 5 | GLM-5.2offen Z.ai (Zhipu AI) | 78,7 % | 121118–124 | 9 |
| 6 | DeepSeek-V4-Prooffen DeepSeek | 77,6 % | 117113–120 | 9 |
| 7 | Qwen3.7-Max Alibaba | 77,3 % | 125122–128 | 9 |
| 8 | GPT-5.4 OpenAI | 76,9 % | 131128–133 | 9 |
| 9 | Claude Opus 4.5 Anthropic | 76,7 % | 115111–118 | 10 |
| 10 | Kimi K2.6offen Moonshot | 76,7 % | 121118–124 | 9 |
| 11 | Qwen 3.6 Max (Preview) Alibaba | 76,7 % | 118112–124 | 5 zu wenige Daten |
| 12 | Gemini 3.1 Pro Google DeepMind | 75,6 % | 127124–130 | 9 |
| 13 | Gemini 3 Flash Google DeepMind | 75,4 % | 122119–125 | 9 |
| 14 | Claude Sonnet 4.6 Anthropic | 75,2 % | 113108–118 | 7 |
| 15 | GPT-5.3 Codex OpenAI | 74,8 % | 122108–136 | 2 zu wenige Daten |
| 16 | GLM-5.1offen Z.ai (Zhipu AI) | 74,2 % | 116112–120 | 7 |
| 17 | GPT-5.2 OpenAI | 73,8 % | 125122–128 | 10 |
| 18 | Kimi K2.5offen Moonshot | 73,8 % | 119112–125 | 5 |
| 19 | GPT-5 OpenAI | 73,6 % | 121118–124 | 11 |
| 20 | Claude Opus 4.1 Anthropic | 73,3 % | 105102–109 | 6 zu wenige Daten |
| 21 | Gemini 3 Pro Google DeepMind | 72,9 % | 122115–130 | 4 zu wenige Daten |
| 22 | GLM-5offen Z.ai (Zhipu AI) | 72,1 % | 112105–118 | 4 zu wenige Daten |
| 23 | Claude Sonnet 4.5 Anthropic | 71,3 % | 110107–113 | 11 |
| 24 | Claude Opus 4 Anthropic | 70,7 % | 9893–102 | 5 |
| 25 | GPT-5.1 OpenAI | 68,0 % | 120115–125 | 7 |
| 26 | GPT-5 mini OpenAI | 64,7 % | 115112–118 | 11 |
| 27 | o3 OpenAI | 62,3 % | 116113–119 | 10 |
| 28 | Claude 3.7 Sonnet Anthropic | 61,0 % | 9995–103 | 5 |
| 29 | Qwen 3.6 Plus Alibaba | 57,9 % | 113109–117 | 7 zu wenige Daten |
| 30 | Gemini 2.5 Pro (Jun 2025) Google DeepMind | 57,6 % | 108104–112 | 7 |
| 31 | GPT-4.1 OpenAI | 48,5 % | 9187–94 | 10 |
| 32 | GPT-4o (Nov 2024) OpenAI | 31,0 % | 6964–73 | 5 |
Datenquellen: Aider polyglot leaderboard data (Apache-2.0); Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0); API list prices via LiteLLM's price table (MIT); each price links to the developer's pricing page; Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter..