Which GPU Is Best

GPU × ローカルモデル互換性

Nvidia GeForce RTX 3090 24GBでMistral Small 3.1 24B Instructは動く?

はい、動作します。

メモリ余裕は6.16GBです。

17.84GB必要メモリ
24GB使用可能メモリ
Q4_K_M推奨量子化
8Kコンテキスト

計算による推定で、実測ベンチマークではありません。