Which GPU Is Best

GPU × ローカルモデル互換性

Nvidia GeForce RTX 4090 (AD102) 24GBでDeepSeek R1 Distill Qwen 32Bは動く?

Q2_K・8Kに下げれば動作します。

あと0.59GB必要です。

24.59GB必要メモリ
24GB使用可能メモリ
Q4_K_M推奨量子化
8Kコンテキスト

計算による推定で、実測ベンチマークではありません。