Automatisierte Seite. Automatisch von KI verfasst und übersetzt und per Software mit den Quellen abgeglichen; keine menschliche Redaktion. SI-IQ ist ein Index auf Basis öffentlicher Benchmark-Ergebnisse, kein IQ-Test. So funktioniert es

Wie intelligent ist Gemma 3 12B?

73 SI-IQ · 90-%-Intervall 66–79
Nicht in der Rangliste: Ergebnisse aus weniger als 5 Benchmarks

Gemma 3 12B ist ein Modell von Google DeepMind, veröffentlicht am 12.03.2025. Sein SI-IQ beträgt 73 (90-%-Intervall 66–79); die Schätzung stützt sich auf 5 Benchmark-Ergebnisse von 3 Evaluatoren.

Datenstand 18.10.2026 · Methode 1.0.0

Ein Modell wird in die Rangliste aufgenommen, wenn seine Ergebnisse aus mindestens 5 Benchmarks (die beiden Läufe von GPQA Diamond zählen als einer) in mindestens 3 Bereichen von mindestens 2 verschiedenen Evaluatoren stammen und die Veröffentlichungsdaten seiner Versionen höchstens 60 Tage auseinanderliegen. Dieses Modell erfüllt diese Bedingung noch nicht (Ergebnisse aus weniger als 5 Benchmarks). Seine vorläufige Schätzung stützt sich auf 5 Benchmark-Ergebnisse und kann sich stark ändern, wenn weitere Ergebnisse hinzukommen.

Fakten

Entwickler: Google DeepMind
Veröffentlicht: 12.03.2025
Zugang: Offene Gewichte (eingeschränkte Lizenz)
Verwendete Benchmarks: 5 Benchmark-Ergebnisse von 3 Evaluatoren

Fähigkeiten nach Bereich (SI-IQ, 90-%-Intervall)

Alle verwendeten Benchmark-Ergebnisse

Jeder Wert ist genau so angegeben, wie ihn die Quelle veröffentlicht hat: bei Epoch AI die beste ihrer Laufeinstellungen, bei OpenRouter der mediane Hosting-Anbieter (das eigene Hosting des Entwicklers, wenn dieses den Test durchgeführt hat). „Abgeleiteter SI-IQ“ ist die Fähigkeit, auf die dieses einzelne Ergebnis hindeutet; der Gesamt-SI-IQ ist ihr präzisionsgewichteter Durchschnitt.

Benchmark	Bereich	Punktzahl	Abgeleiteter SI-IQ	Evaluiert von	Wie von der Quelle aufgeführt	Abgerufen	Quelle
OTIS Mock AIME 2024–2025	Mathematik	16,7 %	76	Epoch AI	`gemma-3-12b-it`	18.10.2026	Epoch AI Benchmarking Hub · Datendatei
GPQA Diamond	Wissen	39,5 %	58	Epoch AI	`gemma-3-12b-it`	18.10.2026	Epoch AI Benchmarking Hub · Datendatei
GPQA Diamond (Lauf von OpenRouter)	Wissen	37,9 %	54	OpenRouter	`google/gemma-3-12b-it` NextBit · Median über die Anbieter (2 von 2 Zeilen), unterer Median	18.10.2026	OpenRouter benchmark datasets · Datendatei
Berkeley Function Calling Leaderboard	Agenten	30,4 %	71	UC Berkeley (Gorilla)	`Gemma-3-12b-it (Prompt)`	18.10.2026	Berkeley Function Calling Leaderboard · Datendatei
τ²-bench Airline (Lauf von OpenRouter)	Agenten	48,0 %	86	OpenRouter	`google/gemma-3-12b-it` DeepInfra · Median über die Anbieter (1 von 1 Zeilen)	18.10.2026	OpenRouter benchmark datasets · Datendatei

Menschliche Präferenz (Arena)

In der Arena-Rangliste, in der Nutzer zwischen zwei anonymen Antworten abstimmen, hat Gemma 3 12B eine Bewertung von 1.342 (1.332–1.351) aus 3.829 Stimmen (veröffentlicht am 15.10.2026). Menschliche Präferenz ist ein anderes Maß als die Leistung in Benchmarks und fließt nicht in den SI-IQ ein. Arena (Hugging Face)

Berechnet mit der SI-IQ-Methodenversion 1.0.0. Die vollständige Methodik lesen

Datenquellen: Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0); Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter (Lizenzen und Änderungen).