オープンウェイトモデル
DeepSeek R1 Distill Qwen 1.5B
Small reasoning checkpoint; long reasoning responses can reduce perceived chat speed.
- パラメータ
- 1.777B
- 推奨量子化
- Q4_K_M
- 重み推定
- 1.3GB
- 最大コンテキスト
- 128K
既定コンテキストでの量子化メモリ
| 量子化 | 重み | KV cache | 合計VRAM |
|---|---|---|---|
| FP16 | 3.70GB | 0.23GB | 4.73GB |
| Q8_0 | 2.10GB | 0.23GB | 3.13GB |
| Q6_K | 1.52GB | 0.23GB | 2.55GB |
| Q5_K_M | 1.28GB | 0.23GB | 2.32GB |
| Q4_K_M | 1.30GB | 0.23GB | 2.33GB |
| Q3_K_M | 1.10GB | 0.23GB | 2.13GB |