オープンウェイトモデル
Mistral Small 3.1 24B Instruct
High-quality local multimodal model. Text estimates exclude vision overhead; 24GB is the practical Q4 target.
- パラメータ
- 24B
- 推奨量子化
- Q4_K_M
- 重み推定
- 15GB
- 最大コンテキスト
- 128K
既定コンテキストでの量子化メモリ
| 量子化 | 重み | KV cache | 合計VRAM |
|---|---|---|---|
| FP16 | 48.50GB | 1.34GB | 54.69GB |
| Q8_0 | 26.50GB | 1.34GB | 30.49GB |
| Q6_K | 20.48GB | 1.34GB | 23.86GB |
| Q5_K_M | 17.32GB | 1.34GB | 20.40GB |
| Q4_K_M | 15.00GB | 1.34GB | 17.84GB |
| Q3_K_M | 12.40GB | 1.34GB | 14.98GB |
| Q2_K | 7.88GB | 1.34GB | 10.02GB |