Configurar un rig →
Mistral141B params39B activos (MoE)66k contexto

Mixtral 8x22B en local

Mixtral 8x22B es un LLM open-weight de la familia Mistral, con 141B parámetros. Uso principal: chat, RAG and general assistance. Hardware mínimo detectado: NVIDIA H100 NVL (94 GB).

Comprobar en mi GPU →Hugging Face ↗
Ficha técnica
Parámetros141B
Contexto máximo66k
Q4_K_M88.6 GB
Q5_K_M108.3 GB
Q8157.6 GB
FP16315.2 GB
FamiliaMistral
Última sync2026-05-12

Quantizations disponibles

Q4_K_M
88.6GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M
108.3GB

Buena calidad. Punto dulce tamaño / precisión.

Q8
157.6GB

Calidad casi FP16. Cómodo para producción.

FP16
315.2GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

GPUs capaces de ejecutar Mixtral 8x22B en una sola tarjeta, ordenadas por margen de VRAM.

NVIDIA H100 NVL
NVIDIA
94 GB · Hopper
88.6 / 94 GBjusto · Q4
RTX Pro 6000 Blackwell
NVIDIA
96 GB · RTX Pro Blackwell
88.6 / 96 GBjusto · Q4
MacBook Pro 14 M2 Max (96GB)
Apple
96 GB · MacBook Pro 14
88.6 / 96 GBjusto · Q4
MacBook Pro 14 M3 Max (96GB)
Apple
96 GB · MacBook Pro 14
88.6 / 96 GBjusto · Q4
MacBook Pro 16 M2 Max (96GB)
Apple
96 GB · MacBook Pro 16
88.6 / 96 GBjusto · Q4
Mac Studio M2 Max (96GB)
Apple
96 GB · Mac Studio
88.6 / 96 GBjusto · Q4
Mac Studio M3 Ultra (96GB)
Apple
96 GB · Mac Studio
88.6 / 96 GBjusto · Q4
Gaudi 2
Intel
96 GB · Gaudi
88.6 / 96 GBjusto · Q4
Instinct MI250
AMD
128 GB · Instinct CDNA 1-2
108.3 / 128 GBcómodo · Q5
Instinct MI250X
AMD
128 GB · Instinct CDNA 1-2
108.3 / 128 GBcómodo · Q5
MacBook Pro 14 M3 Max (128GB)
Apple
128 GB · MacBook Pro 14
108.3 / 128 GBcómodo · Q5
MacBook Pro 14 M4 Max (128GB)
Apple
128 GB · MacBook Pro 14
108.3 / 128 GBcómodo · Q5

Rigs multi-GPU recomendados

Para Mixtral 8x22B con quantization más alta o más contexto, un rig multi-GPU da más margen.

4× TITAN RTX
NVIDIA
96 GB · RTX 20
88.6 / 96 GBjusto · Q4
4× RTX 3090
NVIDIA
96 GB · RTX 30
88.6 / 96 GBjusto · Q4
4× RTX 3090 Ti
NVIDIA
96 GB · RTX 30
88.6 / 96 GBjusto · Q4
4× RTX 4090
NVIDIA
96 GB · RTX 40
88.6 / 96 GBjusto · Q4
4× Radeon RX 7900 XTX
AMD
96 GB · RDNA 3
88.6 / 96 GBjusto · Q4
4× RTX 5090
NVIDIA
128 GB · RTX 50
108.3 / 128 GBcómodo · Q5

Rig recomendado

4× RTX 5090

Mixtral 8x22B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configurar →

Modelos similares

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12