GPU × ローカルモデル互換性

RTX 4090 24GBでDeepSeek R1 Distill Qwen 32Bは動く？

いいえ、使用可能メモリを超えます。

推奨量子化では約24.59GB必要で、このGPUでは0.59GB不足します。小型モデルと対応GPUを下に掲載します。

Q2_K・8Kの軽量設定なら動作します。

計算による推定で、実測ベンチマークではありません。