オープンウェイトモデル
DeepSeek R1 8B
Llama-based reasoning distill; all displayed speed figures are calculated rather than benchmarked.
- パラメータ
- 8.03B
- 推奨量子化
- Q4_K_M
- 重み推定
- 5.4GB
- 最大コンテキスト
- 128K
既定コンテキストでの量子化メモリ
| 量子化 | 重み | KV cache | 合計VRAM |
|---|---|---|---|
| FP16 | 16.40GB | 1.07GB | 19.11GB |
| Q8_0 | 9.10GB | 1.07GB | 11.08GB |
| Q6_K | 6.85GB | 1.07GB | 8.72GB |
| Q5_K_M | 5.80GB | 1.07GB | 7.67GB |
| Q4_K_M | 5.40GB | 1.07GB | 7.27GB |
| Q3_K_M | 4.50GB | 1.07GB | 6.37GB |
| Q2_K | 2.63GB | 1.07GB | 4.51GB |