Automatisierte Seite. Automatisch von KI verfasst und übersetzt und per Software mit den Quellen abgeglichen; keine menschliche Redaktion. SI-IQ ist ein Index auf Basis öffentlicher Benchmark-Ergebnisse, kein IQ-Test. So funktioniert es
Berkeley Function Calling Leaderboard: Ergebnisse von KI-Modellen
Berkeley Function Calling Leaderboard ist ein Benchmark im Bereich Agenten, durchgeführt von UC Berkeley (Gorilla). Für 41 Modelle in unseren Daten liegt ein veröffentlichtes Ergebnis vor.
Er ist Teil des SI-IQ-Index (Ladung k = 0,47, Zufallsniveau 0 %).
- Evaluator
- UC Berkeley (Gorilla)
- Startseite des Benchmarks
- gorilla.cs.berkeley.edu/leaderboard.html
Ergebnisse
| 1 | Claude Opus 4.5 Anthropic | 77,5 % | 115111–118 | 10 |
| 2 | Claude Sonnet 4.5 Anthropic | 73,2 % | 110107–113 | 11 |
| 3 | Gemini 3 Pro Google DeepMind | 72,5 % | 122115–130 | 4 zu wenige Daten |
| 4 | GLM-4.6offen Z.ai (Zhipu AI), Tsinghua University | 72,4 % | 117106–128 | 3 zu wenige Daten |
| 5 | Claude Haiku 4.5 Anthropic | 68,7 % | 10499–108 | 7 |
| 6 | o3 OpenAI | 63,0 % | 116113–119 | 10 |
| 7 | Grok 4 xAI | 63,0 % | 114107–120 | 4 zu wenige Daten |
| 8 | DeepSeek-V3.2-Expoffen DeepSeek | 56,7 % | 112103–121 | 4 zu wenige Daten |
| 9 | Gemini 2.5 Flash (Jun 2025) Google DeepMind | 56,2 % | 10291–113 | 3 zu wenige Daten |
| 10 | GPT-5.2 OpenAI | 55,9 % | 125122–128 | 10 |
| 11 | GPT-5 mini OpenAI | 55,5 % | 115112–118 | 11 |
| 12 | GPT-4.1 OpenAI | 54,0 % | 9187–94 | 10 |
| 13 | o4-mini OpenAI | 53,2 % | 112109–115 | 10 |
| 14 | Qwen3-235B-A22B-Instruct (Jul 2025)offen Alibaba | 52,1 % | 9685–107 | 3 zu wenige Daten |
| 15 | GPT-5 nano OpenAI | 51,5 % | 105102–109 | 10 |
| 16 | GPT-4.1 mini OpenAI | 50,5 % | 9188–95 | 10 |
| 17 | Qwen3-32Boffen Alibaba | 48,7 % | 9589–100 | 5 |
| 18 | Cohere Command Aoffen Cohere | 46,5 % | 9375–112 | 1 zu wenige Daten |
| 19 | Qwen3-8Boffen Alibaba | 42,6 % | 9184–97 | 3 zu wenige Daten |
| 20 | Qwen3-30B-A3B-Instruct (Jul 2025)offen Alibaba | 41,4 % | 9186–97 | 4 zu wenige Daten |
| 21 | Qwen3-14Boffen Alibaba | 41,0 % | 9387–99 | 4 zu wenige Daten |
| 22 | Mistral Large 2 (Nov 2024)offen Mistral AI | 38,4 % | 7166–76 | 4 zu wenige Daten |
| 23 | Mistral Medium 3 Mistral AI | 37,7 % | 8681–90 | 4 zu wenige Daten |
| 24 | Llama 4 Maverickoffen Meta AI | 37,3 % | 8177–85 | 6 |
| 25 | Mistral Small 3.2offen Mistral AI | 37,1 % | 8074–87 | 3 zu wenige Daten |
| 26 | qwen3-4b-instruct-2507 — | 35,7 % | 8579–92 | 3 zu wenige Daten |
| 27 | GPT-4.1 nano OpenAI | 33,0 % | 7672–80 | 8 |
| 28 | Llama 3.3 70Boffen Meta AI | 31,9 % | 6661–71 | 5 |
| 29 | Gemma 3 12Boffen Google DeepMind | 30,4 % | 7366–79 | 4 zu wenige Daten |
| 30 | Gemma 3 27Boffen Google DeepMind | 29,5 % | 7772–81 | 5 |
| 31 | Phi-4offen Microsoft Research | 28,8 % | 7671–81 | 4 zu wenige Daten |
| 32 | Qwen3-1.7Boffen Alibaba | 28,4 % | 6557–73 | 3 zu wenige Daten |
| 33 | Llama 4 Scoutoffen Meta AI | 28,1 % | 7368–78 | 4 zu wenige Daten |
| 34 | Mistral NeMooffen Mistral AI | 27,6 % | 4741–53 | 3 zu wenige Daten |
| 35 | Qwen3-0.6Boffen Alibaba | 23,9 % | 6445–83 | 1 zu wenige Daten |
| 36 | Llama 3.2 3Boffen Meta AI | 21,9 % | 6142–80 | 2 zu wenige Daten |
| 37 | Gemma 3 4Boffen Google DeepMind | 19,6 % | 6353–73 | 3 zu wenige Daten |
| 38 | granite-4.0-350m — | 19,0 % | 5337–68 | 3 zu wenige Daten |
| 39 | Ministral 8Boffen Mistral AI | 11,1 % | 4741–53 | 3 zu wenige Daten |
| 40 | Llama 3.2 1Boffen Meta AI | 10,8 % | 4227–58 | 3 zu wenige Daten |
| 41 | Gemma 3 1Boffen Google DeepMind | 7,2 % | 4025–55 | 3 zu wenige Daten |
Datenquellen: Aider polyglot leaderboard data (Apache-2.0); Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0); API list prices via LiteLLM's price table (MIT); each price links to the developer's pricing page; Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter..