GPU × 本地模型兼容性
RTX 4070 SUPER 12GB 能运行 Mistral Small 3.1 24B Instruct 吗？
不行——该模型超过可用显存。
该组合在推荐量化下约需 17.84GB 显存，比当前 GPU 多 5.84GB；下方提供更小模型和合适 GPU。
17.84GB显存需求
12.00GB当前显存
5.84GB显存缺口
Q4_K_M推荐量化
8K上下文
较轻的 Q2_K / 8K 配置可以运行。
计算估算，不是实测 benchmark。
GPU × 本地模型兼容性
该组合在推荐量化下约需 17.84GB 显存，比当前 GPU 多 5.84GB；下方提供更小模型和合适 GPU。
较轻的 Q2_K / 8K 配置可以运行。
计算估算，不是实测 benchmark。