本地模型运行决策

Nvidia GeForce RTX 4090 (AD102) 24GB 能运行 DeepSeek R1 Distill Qwen 32B 吗?

推荐设置不行;改用 Q2_K、8K 上下文。

还缺 0.59GB 显存。

24.59GB计算需求
24GB可用显存 / RAM
Q4_K_M推荐量化
8K上下文
计算值,不是 benchmark 实测。

相关兼容性答案