GPU × ローカルモデル互換性
RTX 4070 SUPER 12GBでMistral Small 3.1 24B Instructは動く？
いいえ、使用可能メモリを超えます。
推奨量子化では約17.84GB必要で、このGPUでは5.84GB不足します。小型モデルと対応GPUを下に掲載します。
17.84GB必要メモリ
12.00GB使用可能メモリ
5.84GBメモリ不足
Q4_K_M推奨量子化
8Kコンテキスト
Q2_K・8Kの軽量設定なら動作します。
計算による推定で、実測ベンチマークではありません。