GPU × 本地模型兼容性
RTX 3090 24GB 能运行 Qwen 3 30B A3B 吗?
可以,但显存余量很小。
该组合在推荐量化下约需 21.49GB 显存,当前 GPU 还有 2.51GB 余量。
21.49GB显存需求
24.00GB当前显存
2.51GB显存余量
Q4_K_M推荐量化
8K上下文
较轻的 Q3_K_M / 8K 配置可以运行。
计算估算,不是实测 benchmark。
GPU × 本地模型兼容性
该组合在推荐量化下约需 21.49GB 显存,当前 GPU 还有 2.51GB 余量。
较轻的 Q3_K_M / 8K 配置可以运行。
计算估算,不是实测 benchmark。