本地模型运行决策

Nvidia GeForce RTX 3090 24GB 能运行 Mistral Small 3.1 24B Instruct 吗?

可以——推荐配置能够装下。

剩余 6.16GB 显存余量。

17.84GB计算需求
24GB可用显存 / RAM
Q4_K_M推荐量化
8K上下文
计算值,不是 benchmark 实测。

相关兼容性答案