GPU × ローカルモデル互換性
RTX 4070 12GBでQwen 3 8Bは動く？
はい、動作します。
推奨量子化では約7.51GB必要で、このGPUには4.49GBの余裕があります。
7.51GB必要メモリ
12.00GB使用可能メモリ
4.49GBメモリ余裕
Q4_K_M推奨量子化
8Kコンテキスト
Q6_K・8Kの軽量設定なら動作します。
計算による推定で、実測ベンチマークではありません。
GPU × ローカルモデル互換性
推奨量子化では約7.51GB必要で、このGPUには4.49GBの余裕があります。
Q6_K・8Kの軽量設定なら動作します。
計算による推定で、実測ベンチマークではありません。