GPU × ローカルモデル互換性
RTX 3090 24GBでMistral Small 3.1 24B Instructは動く？
はい、動作します。
推奨量子化では約17.84GB必要で、このGPUには6.16GBの余裕があります。
17.84GB必要メモリ
24.00GB使用可能メモリ
6.16GBメモリ余裕
Q4_K_M推奨量子化
8Kコンテキスト
Q5_K_M・8Kの軽量設定なら動作します。
計算による推定で、実測ベンチマークではありません。
GPU × ローカルモデル互換性
推奨量子化では約17.84GB必要で、このGPUには6.16GBの余裕があります。
Q5_K_M・8Kの軽量設定なら動作します。
計算による推定で、実測ベンチマークではありません。