GPU × ローカルモデル互換性

RTX 4060 8GBでQwen 3 32Bは動く？

いいえ、使用可能メモリを超えます。

推奨量子化では約24.59GB必要で、このGPUでは16.59GB不足します。小型モデルと対応GPUを下に掲載します。

計算による推定で、実測ベンチマークではありません。