Configurar un rig →
Mistral47B params13B activos (MoE)33k contextopopular

Mixtral 8x7B en local

Mixtral 8x7B es un LLM open-weight de la familia Mistral, con 47B parámetros. Uso principal: chat, RAG and general assistance. Hardware mínimo detectado: RTX 5090 (32 GB).

Comprobar en mi GPU →Hugging Face ↗
Ficha técnica
Parámetros47B
Contexto máximo33k
Q4_K_M29.5 GB
Q5_K_M36.1 GB
Q852.5 GB
FP16105.1 GB
FamiliaMistral
Última sync2026-05-12

Quantizations disponibles

Q4_K_M
29.5GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M
36.1GB

Buena calidad. Punto dulce tamaño / precisión.

Q8
52.5GB

Calidad casi FP16. Cómodo para producción.

FP16
105.1GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

GPUs capaces de ejecutar Mixtral 8x7B en una sola tarjeta, ordenadas por margen de VRAM.

RTX 5090
NVIDIA
32 GB · RTX 50
29.5 / 32 GBjusto · Q4
RTX 5000 Ada
NVIDIA
32 GB · RTX Ada
29.5 / 32 GBjusto · Q4
Radeon Pro W6800
AMD
32 GB · Radeon Pro W
29.5 / 32 GBjusto · Q4
Radeon Pro W7800
AMD
32 GB · Radeon Pro W
29.5 / 32 GBjusto · Q4
Instinct MI100
AMD
32 GB · Instinct CDNA 1-2
29.5 / 32 GBjusto · Q4
Mac Mini M2 Pro (32GB)
Apple
32 GB · Mac Mini
29.5 / 32 GBjusto · Q4
Mac Mini M4 (32GB)
Apple
32 GB · Mac Mini
29.5 / 32 GBjusto · Q4
MacBook Air M4 (32GB)
Apple
32 GB · MacBook Air
29.5 / 32 GBjusto · Q4
MacBook Pro 14 M1 Pro (32GB)
Apple
32 GB · MacBook Pro 14
29.5 / 32 GBjusto · Q4
MacBook Pro 14 M1 Max (32GB)
Apple
32 GB · MacBook Pro 14
29.5 / 32 GBjusto · Q4
MacBook Pro 14 M2 Pro (32GB)
Apple
32 GB · MacBook Pro 14
29.5 / 32 GBjusto · Q4
MacBook Pro 14 M2 Max (32GB)
Apple
32 GB · MacBook Pro 14
29.5 / 32 GBjusto · Q4

Rigs multi-GPU recomendados

Para Mixtral 8x7B con quantization más alta o más contexto, un rig multi-GPU da más margen.

4× GTX 1070
NVIDIA
32 GB · GTX 10
29.5 / 32 GBjusto · Q4
4× GTX 1070 Ti
NVIDIA
32 GB · GTX 10
29.5 / 32 GBjusto · Q4
4× GTX 1080
NVIDIA
32 GB · GTX 10
29.5 / 32 GBjusto · Q4
4× RTX 2060 Super
NVIDIA
32 GB · RTX 20
29.5 / 32 GBjusto · Q4
4× RTX 2070
NVIDIA
32 GB · RTX 20
29.5 / 32 GBjusto · Q4
4× RTX 2070 Super
NVIDIA
32 GB · RTX 20
29.5 / 32 GBjusto · Q4
4× RTX 2080
NVIDIA
32 GB · RTX 20
29.5 / 32 GBjusto · Q4
4× RTX 2080 Super
NVIDIA
32 GB · RTX 20
29.5 / 32 GBjusto · Q4

Rig recomendado

4× GTX 1070

Mixtral 8x7B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configurar →

Modelos similares

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12