开源权重本地模型
Qwen 3 30B A3B
MoE model: all quantized weights must fit, while active parameters affect calculated speed.
- 参数量
- 30.532B
- 推荐量化
- Q4_K_M
- 权重估算
- 18.8GB
- 最大上下文
- 40K
默认上下文下的量化显存
| 量化 | 权重 | KV cache | 总显存 |
|---|---|---|---|
| FP16 | 61.50GB | 0.81GB | 68.46GB |
| Q8_0 | 33.50GB | 0.81GB | 37.66GB |
| Q6_K | 26.05GB | 0.81GB | 29.46GB |
| Q5_K_M | 22.04GB | 0.81GB | 25.05GB |
| Q4_K_M | 18.80GB | 0.81GB | 21.49GB |
| Q3_K_M | 15.60GB | 0.81GB | 17.97GB |
| Q2_K | 10.02GB | 0.81GB | 11.83GB |
检查这些 GPU 能否运行该模型
- RTX 3090 24GB 能运行吗？
- RTX 4090 24GB 能运行吗？
- AMD Radeon RX 7900 XTX 24GB 能运行吗？
- Apple MacBook Pro M4 Max (32-core GPU) 36GB 能运行吗？
- Apple MacBook Pro M5 Pro 36GB 能运行吗？
- Apple MacBook Pro M3 Max (30-core GPU) 36GB 能运行吗？
- Apple MacBook Pro M3 Pro (14-core GPU) 36GB 能运行吗？
- Apple MacBook Pro M3 Pro (18-core GPU) 36GB 能运行吗？
- RTX 5090 32GB 能运行吗？
- RTX 5090 D 32GB 能运行吗？