GPU × ローカルモデル互換性

RTX 4060 8GBでQwen 2.5 Coder 7B Instructは動く？

はい、動作します。

推奨量子化では約6.37GB必要で、このGPUには1.63GBの余裕があります。

Q5_K_M・8Kの軽量設定なら動作します。

計算による推定で、実測ベンチマークではありません。