Automatisierte Seite. Automatisch von KI verfasst und übersetzt und per Software mit den Quellen abgeglichen; keine menschliche Redaktion. SI-IQ ist ein Index auf Basis öffentlicher Benchmark-Ergebnisse, kein IQ-Test. So funktioniert es
Wie intelligent ist Mistral Large 2 (Nov 2024)?
Mistral Large 2 (Nov 2024) ist ein Modell von Mistral AI, veröffentlicht am 18.11.2024. Der SI-IQ beträgt 71 (90-%-Intervall 66–76), geschätzt aus 4 Benchmark-Ergebnissen von 2 unabhängigen Evaluatoren.
Dieses Modell hat weniger als 5 unabhängige Benchmark-Ergebnisse oder weniger als 2 verschiedene Evaluatoren und wird daher angezeigt, aber nicht in die Rangliste aufgenommen.
Fakten
- Entwickler
- Mistral AI
- Veröffentlicht
- 18.11.2024
- Zugang
- Offene Gewichte (nichtkommerzielle Lizenz)
- Verwendete Benchmarks
- 4 Ergebnisse von 2 Evaluatoren
Fähigkeiten nach Bereich (SI-IQ, 90-%-Intervall)
Alle verwendeten Benchmark-Ergebnisse
Jeder Wert ist genau so angegeben, wie ihn die Quelle veröffentlicht hat: bei Epoch AI die beste ihrer Laufeinstellungen, bei OpenRouter der mediane Hosting-Anbieter (das eigene Hosting des Entwicklers, wenn dieses den Test durchgeführt hat). „Implizierter SI-IQ“ ist die Fähigkeit, auf die dieses einzelne Ergebnis hindeutet; der Gesamt-SI-IQ ist ihr präzisionsgewichteter Durchschnitt.
| Benchmark | Punktzahl | Evaluiert von | Quelle |
|---|---|---|---|
| MATH Level 5 | 50,3 % | Epoch AI | Epoch AI Benchmarking Hub · Datendatei |
| OTIS Mock AIME 2024–2025 | 7,8 % | Epoch AI | Epoch AI Benchmarking Hub · Datendatei |
| GPQA Diamond | 51,3 % | Epoch AI | Epoch AI Benchmarking Hub · Datendatei |
| Berkeley Function Calling Leaderboard | 38,4 % | UC Berkeley (Gorilla) | Berkeley Function Calling Leaderboard · Datendatei |
Menschliche Präferenz (Arena)
In der Arena-Rangliste, in der Nutzer zwischen zwei anonymen Antworten abstimmen, hat Mistral Large 2 (Nov 2024) eine Bewertung von 1.306 (1.301–1.310) aus 28.073 Stimmen (veröffentlicht am 15.10.2026). Menschliche Präferenz ist ein anderes Maß als die Leistung in Benchmarks und fließt nicht in den SI-IQ ein. Arena (Hugging Face)
Berechnet mit der SI-IQ-Methodenversion 1.0.0. Die vollständige Methodik lesen
Datenquellen: Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0).