自动生成页面。 本页由 AI 自动撰写和翻译,并由软件对照来源进行核查,无人工编辑。SI-IQ 是基于公开基准测试结果构建的指数,不是智商测试。 工作原理

Gemma 3 12B 有多聪明?

73 SI-IQ · 90% 区间 66–79
未排名:数据不足

Gemma 3 12B 是 Google DeepMind 于 2025年3月12日 发布的模型。其 SI-IQ 为 73(90% 区间 66–79),由 3 家评测方的 5 项基准测试结果估算得出。

数据截至 2026年10月18日 · 方法版本 1.0.0

模型的结果须来自至少 5 项基准测试(两次 GPQA Diamond 运行计为一项),覆盖至少 3 个领域,出自至少 2 家不同的评测方,且各版本的发布时间相隔不超过 60 天,方可进入排名。该模型目前尚未满足这一要求,因此以暂定估计值展示,但不参与排名。

基本信息

开发方
Google DeepMind
发布时间
2025年3月12日
访问方式
开放权重(受限许可)
所用基准测试
来自 3 家评测方的 5 项基准测试结果

各领域能力(SI-IQ,90% 区间)

6080100120140160智能体75

我们使用的每项基准测试结果

每个分数都是来源发布的原始单一数值:Epoch AI 取其各运行设置中的最佳结果,OpenRouter 取托管服务商的中位数(若开发方自行托管并运行了测试,则取其自有托管的结果)。“隐含 SI-IQ”是该单项结果所对应的能力水平;总体 SI-IQ 是这些值按精度加权后的平均值。

基准测试 领域 得分 隐含 SI-IQ 评测方 来源中的列示名称 获取时间 来源
OTIS Mock AIME 2024–2025 数学 16.7% 76 Epoch AI gemma-3-12b-it 2026年10月18日 Epoch AI Benchmarking Hub · 数据文件
GPQA Diamond 知识 39.5% 58 Epoch AI gemma-3-12b-it 2026年10月18日 Epoch AI Benchmarking Hub · 数据文件
GPQA Diamond (OpenRouter 运行) 知识 37.9% 54 OpenRouter google/gemma-3-12b-it
NextBit · 各服务商的中位数(2 行中的 2 行), 下中位数
2026年10月18日 OpenRouter benchmark datasets · 数据文件
Berkeley Function Calling Leaderboard 智能体 30.4% 71 UC Berkeley (Gorilla) Gemma-3-12b-it (Prompt) 2026年10月18日 Berkeley Function Calling Leaderboard · 数据文件
τ²-bench Airline (OpenRouter 运行) 智能体 48.0% 86 OpenRouter google/gemma-3-12b-it
DeepInfra · 各服务商的中位数(1 行中的 1 行)
2026年10月18日 OpenRouter benchmark datasets · 数据文件

人类偏好(Arena)

在 Arena 排行榜上,用户会在两个匿名回答之间投票。Gemma 3 12B 的评分为 1,342(1,332–1,351),共 3,829 票(发布于 2026年10月15日)。人类偏好与基准测试所衡量的能力是不同的指标,不计入 SI-IQ。 Arena (Hugging Face)

采用 SI-IQ 方法版本 1.0.0 计算。 阅读完整方法论

数据来源: Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0); Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter (许可与修改).