オープンウェイトモデル
Qwen 3 8B
Popular general-purpose reasoning model for 8–12GB consumer GPUs at 4-bit.
- パラメータ
- 8.191B
- 推奨量子化
- Q4_K_M
- 重み推定
- 5.5GB
- 最大コンテキスト
- 40K
既定コンテキストでの量子化メモリ
| 量子化 | 重み | KV cache | 合計VRAM |
|---|---|---|---|
| FP16 | 16.50GB | 1.21GB | 19.36GB |
| Q8_0 | 9.30GB | 1.21GB | 11.44GB |
| Q6_K | 6.99GB | 1.21GB | 9.00GB |
| Q5_K_M | 5.91GB | 1.21GB | 7.92GB |
| Q4_K_M | 5.50GB | 1.21GB | 7.51GB |
| Q3_K_M | 4.60GB | 1.21GB | 6.61GB |
| Q2_K | 2.69GB | 1.21GB | 4.70GB |