GPU × ローカルモデル互換性
RTX 3090 24GBでQwen 3 30B A3Bは動く？
動作しますが、メモリ余裕は小さいです。
推奨量子化では約21.49GB必要で、このGPUには2.51GBの余裕があります。
21.49GB必要メモリ
24.00GB使用可能メモリ
2.51GBメモリ余裕
Q4_K_M推奨量子化
8Kコンテキスト
Q3_K_M・8Kの軽量設定なら動作します。
計算による推定で、実測ベンチマークではありません。
GPU × ローカルモデル互換性
推奨量子化では約21.49GB必要で、このGPUには2.51GBの余裕があります。
Q3_K_M・8Kの軽量設定なら動作します。
計算による推定で、実測ベンチマークではありません。