자동화된 페이지입니다. AI가 자동으로 작성하고 번역했으며 소프트웨어가 출처와 대조해 검증했습니다. 사람 편집자는 없습니다. SI-IQ는 공개 벤치마크 결과로 만든 지수이며 IQ 검사가 아닙니다. 작동 방식
Llama 3.3 70B은(는) 얼마나 똑똑할까요?
Llama 3.3 70B은(는) Meta AI의 모델이며 2024년 12월 6일에 출시되었습니다. SI-IQ는 66이며(90% 구간 61–71), 독립 평가 기관 3곳의 벤치마크 결과 5건으로 추정했습니다. 가장 강한 영역은 에이전트, 가장 약한 영역은 수학입니다.
정보
- 개발사
- Meta AI
- 출시일
- 2024년 12월 6일
- 이용 방식
- 오픈 웨이트(제한적 라이선스)
- 사용된 벤치마크
- 평가 기관 3곳의 결과 5건
영역별 능력(SI-IQ, 90% 구간)
사용한 모든 벤치마크 결과
각 점수는 출처가 게시한 값 그대로의 단일 값입니다. Epoch AI는 실행 설정 중 최고값, OpenRouter는 호스팅 제공업체의 중앙값(개발사가 직접 호스팅하여 테스트한 경우에는 해당 호스팅)입니다. “추정 SI-IQ”는 이 단일 결과가 가리키는 능력치이며, 전체 SI-IQ는 이들의 정밀도 가중 평균입니다.
| 벤치마크 | 점수 | 평가 기관 | 출처 |
|---|---|---|---|
| MATH Level 5 | 41.6% | Epoch AI | Epoch AI Benchmarking Hub · 데이터 파일 |
| OTIS Mock AIME 2024–2025 | 5.1% | Epoch AI | Epoch AI Benchmarking Hub · 데이터 파일 |
| GPQA Diamond | 47.4% | Epoch AI | Epoch AI Benchmarking Hub · 데이터 파일 |
| GPQA Diamond (OpenRouter run) | 47.5% | OpenRouter | OpenRouter benchmark datasets · 데이터 파일 |
| Berkeley Function Calling Leaderboard | 31.9% | UC Berkeley (Gorilla) | Berkeley Function Calling Leaderboard · 데이터 파일 |
| τ²-bench Airline (OpenRouter run) | 31.3% | OpenRouter | OpenRouter benchmark datasets · 데이터 파일 |
인간 선호도 (Arena)
사용자가 익명의 답변 두 개 중 하나에 투표하는 Arena 순위표에서 Llama 3.3 70B은(는) 54,497표를 받아 1,318점(1,315–1,322)을 기록했습니다(게시일 2026년 10월 15일). 인간 선호도는 벤치마크 능력과는 다른 척도이며 SI-IQ에 포함되지 않습니다. Arena (Hugging Face)
SI-IQ가 비슷한 모델
| 모델 | SI-IQ | |
|---|---|---|
| GPT-4o miniOpenAI | 68 | Llama 3.3 70B vs GPT-4o mini |
| GPT-4o (Nov 2024)OpenAI | 69 | Llama 3.3 70B vs GPT-4o (Nov 2024) |
| GPT-4o (Aug 2024)OpenAI | 73 | Llama 3.3 70B vs GPT-4o (Aug 2024) |
| GPT-4.1 nanoOpenAI | 76 | Llama 3.3 70B vs GPT-4.1 nano |
| Gemma 3 27BGoogle DeepMind | 77 | Llama 3.3 70B vs Gemma 3 27B |
SI-IQ 방법론 버전 1.0.0으로 계산했습니다. 전체 방법론 읽기
데이터 출처: Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0); Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter..