Configura un rig →
Mistral141B params39B attivi (MoE)66k contesto

Mixtral 8x22B in locale

Mixtral 8x22B è un LLM open-weight della famiglia Mistral, con 141B parametri. Uso principale: chat, RAG and general assistance. Hardware minimo rilevato: NVIDIA H100 NVL (94 GB).

Verifica sulla mia GPU →Hugging Face ↗
Scheda tecnica
Parametri141B
Contesto massimo66k
Q4_K_M88.6 GB
Q5_K_M108.3 GB
Q8157.6 GB
FP16315.2 GB
FamigliaMistral
Ultima sync2026-05-12

Quantization disponibili

Q4_K_M
88.6GB

Accettabile. Buon compromesso con VRAM limitata.

Q5_K_M
108.3GB

Buona qualità. Punto dolce tra dimensione e precisione.

Q8
157.6GB

Qualità quasi FP16. Comoda in produzione.

FP16
315.2GB

Precisione di riferimento. Qualità massima, più VRAM.

GPU compatibili

GPU capaci di eseguire Mixtral 8x22B su una sola scheda, ordinate per margine VRAM.

NVIDIA H100 NVL
NVIDIA
94 GB · Hopper
88.6 / 94 GBstretto · Q4
RTX Pro 6000 Blackwell
NVIDIA
96 GB · RTX Pro Blackwell
88.6 / 96 GBstretto · Q4
MacBook Pro 14 M2 Max (96GB)
Apple
96 GB · MacBook Pro 14
88.6 / 96 GBstretto · Q4
MacBook Pro 14 M3 Max (96GB)
Apple
96 GB · MacBook Pro 14
88.6 / 96 GBstretto · Q4
MacBook Pro 16 M2 Max (96GB)
Apple
96 GB · MacBook Pro 16
88.6 / 96 GBstretto · Q4
Mac Studio M2 Max (96GB)
Apple
96 GB · Mac Studio
88.6 / 96 GBstretto · Q4
Mac Studio M3 Ultra (96GB)
Apple
96 GB · Mac Studio
88.6 / 96 GBstretto · Q4
Gaudi 2
Intel
96 GB · Gaudi
88.6 / 96 GBstretto · Q4
Instinct MI250
AMD
128 GB · Instinct CDNA 1-2
108.3 / 128 GBcomodo · Q5
Instinct MI250X
AMD
128 GB · Instinct CDNA 1-2
108.3 / 128 GBcomodo · Q5
MacBook Pro 14 M3 Max (128GB)
Apple
128 GB · MacBook Pro 14
108.3 / 128 GBcomodo · Q5
MacBook Pro 14 M4 Max (128GB)
Apple
128 GB · MacBook Pro 14
108.3 / 128 GBcomodo · Q5

Rig multi-GPU consigliati

Per Mixtral 8x22B con quantization più alta o più contesto, un rig multi-GPU offre più margine.

4× TITAN RTX
NVIDIA
96 GB · RTX 20
88.6 / 96 GBstretto · Q4
4× RTX 3090
NVIDIA
96 GB · RTX 30
88.6 / 96 GBstretto · Q4
4× RTX 3090 Ti
NVIDIA
96 GB · RTX 30
88.6 / 96 GBstretto · Q4
4× RTX 4090
NVIDIA
96 GB · RTX 40
88.6 / 96 GBstretto · Q4
4× Radeon RX 7900 XTX
AMD
96 GB · RDNA 3
88.6 / 96 GBstretto · Q4
4× RTX 5090
NVIDIA
128 GB · RTX 50
108.3 / 128 GBcomodo · Q5

Rig consigliato

4× RTX 5090

Mixtral 8x22B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configura →

Modelli simili

Stime VRAM: parametri x bits/8 più margine. Prestazioni reali secondo engine, contesto e batch.
sync: 2026-05-12