자동화된 페이지입니다. AI가 자동으로 작성하고 번역했으며 소프트웨어가 출처와 대조해 검증했습니다. 사람 편집자는 없습니다. SI-IQ는 공개 벤치마크 결과로 만든 지수이며 IQ 검사가 아닙니다. 작동 방식
SWE-bench Verified (Epoch AI run): AI 모델 결과
SWE-bench Verified (Epoch AI run)은(는) Epoch AI에서 실행하는 코딩 벤치마크입니다. 당사 데이터에서 32개 모델이 발표된 결과를 가지고 있습니다.
SI-IQ 지수에 포함됩니다(적재량 k = 0.47, 우연 수준 0%).
- 평가 기관
- Epoch AI
- 벤치마크 홈페이지
- openai.com/index/introducing-swe-bench-verified
결과
| 1 | Claude Opus 4.7 Anthropic | 83.5% | 127124–130 | 9 |
| 2 | GPT-5.5 OpenAI | 80.6% | 138135–141 | 9 |
| 3 | Gemini 3.5 Flash Google DeepMind | 79.3% | 126123–129 | 9 |
| 4 | Claude Opus 4.6 Anthropic | 78.7% | 123120–126 | 9 |
| 5 | GLM-5.2오픈 Z.ai (Zhipu AI) | 78.7% | 121118–124 | 9 |
| 6 | DeepSeek-V4-Pro오픈 DeepSeek | 77.6% | 117113–120 | 9 |
| 7 | Qwen3.7-Max Alibaba | 77.3% | 125122–128 | 9 |
| 8 | GPT-5.4 OpenAI | 76.9% | 131128–133 | 9 |
| 9 | Claude Opus 4.5 Anthropic | 76.7% | 115111–118 | 10 |
| 10 | Kimi K2.6오픈 Moonshot | 76.7% | 121118–124 | 9 |
| 11 | Qwen 3.6 Max (Preview) Alibaba | 76.7% | 118112–124 | 5 데이터 부족 |
| 12 | Gemini 3.1 Pro Google DeepMind | 75.6% | 127124–130 | 9 |
| 13 | Gemini 3 Flash Google DeepMind | 75.4% | 122119–125 | 9 |
| 14 | Claude Sonnet 4.6 Anthropic | 75.2% | 113108–118 | 7 |
| 15 | GPT-5.3 Codex OpenAI | 74.8% | 122108–136 | 2 데이터 부족 |
| 16 | GLM-5.1오픈 Z.ai (Zhipu AI) | 74.2% | 116112–120 | 7 |
| 17 | GPT-5.2 OpenAI | 73.8% | 125122–128 | 10 |
| 18 | Kimi K2.5오픈 Moonshot | 73.8% | 119112–125 | 5 |
| 19 | GPT-5 OpenAI | 73.6% | 121118–124 | 11 |
| 20 | Claude Opus 4.1 Anthropic | 73.3% | 105102–109 | 6 데이터 부족 |
| 21 | Gemini 3 Pro Google DeepMind | 72.9% | 122115–130 | 4 데이터 부족 |
| 22 | GLM-5오픈 Z.ai (Zhipu AI) | 72.1% | 112105–118 | 4 데이터 부족 |
| 23 | Claude Sonnet 4.5 Anthropic | 71.3% | 110107–113 | 11 |
| 24 | Claude Opus 4 Anthropic | 70.7% | 9893–102 | 5 |
| 25 | GPT-5.1 OpenAI | 68.0% | 120115–125 | 7 |
| 26 | GPT-5 mini OpenAI | 64.7% | 115112–118 | 11 |
| 27 | o3 OpenAI | 62.3% | 116113–119 | 10 |
| 28 | Claude 3.7 Sonnet Anthropic | 61.0% | 9995–103 | 5 |
| 29 | Qwen 3.6 Plus Alibaba | 57.9% | 113109–117 | 7 데이터 부족 |
| 30 | Gemini 2.5 Pro (Jun 2025) Google DeepMind | 57.6% | 108104–112 | 7 |
| 31 | GPT-4.1 OpenAI | 48.5% | 9187–94 | 10 |
| 32 | GPT-4o (Nov 2024) OpenAI | 31.0% | 6964–73 | 5 |
데이터 출처: Aider polyglot leaderboard data (Apache-2.0); Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0); API list prices via LiteLLM's price table (MIT); each price links to the developer's pricing page; Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter..