自动生成页面。本页由 AI 自动撰写和翻译,并由软件对照来源进行核查,无人工编辑。SI-IQ 是基于公开基准测试结果构建的指数,不是智商测试。工作原理
SI-IQ 背后的基准测试
SI-IQ 目前在指数中采用 13 项基准测试(共追踪 14 项)。每项测试均由独立评测方运行;指数中绝不使用开发方自己宣称的成绩。
| 基准测试 | 领域 | 评测方 | 模型数 |
|---|---|---|---|
| Chess Puzzles | 推理 | Epoch AI | 81 |
| Furniture Assembly | 推理 | Epoch AI | 34 |
| Mystery Game Puzzles | 推理 | Epoch AI | 78 |
| FrontierMath Tier 4 | 数学 | Epoch AI | 68 |
| FrontierMath Tiers 1–3 | 数学 | Epoch AI | 86 |
| MATH Level 5 | 数学 | Epoch AI | 86 |
| OTIS Mock AIME 2024–2025 | 数学 | Epoch AI | 193 |
| Aider Polyglot | 编程 | Aider | 40 |
| SWE-bench Verified(Epoch AI 运行) | 编程 | Epoch AI | 32 |
| GPQA Diamond | 知识 | Epoch AI | 205 |
| GPQA Diamond(OpenRouter 运行) | 知识 | OpenRouter | 117 |
| SimpleQA Verified | 知识 | Epoch AI | 81 |
| Berkeley Function Calling Leaderboard | 智能体 | UC Berkeley (Gorilla) | 41 |
| τ²-bench Airline(OpenRouter 运行) | 智能体 | OpenRouter | 117 |
载荷 α 表示某项基准测试在共同能力尺度上区分强弱模型的能力有多强(越高,信息量越大)。阅读完整方法论
数据来源与许可
数据来源:Aider polyglot leaderboard data (Apache-2.0);Arena leaderboard dataset on Hugging Face (CC BY 4.0);Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0);Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0);LiteLLM, model_prices_and_context_window.json (MIT);Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter(许可与修改)。