Configurar un rig →
MPT30B params8k contexto

MPT 30B en local

MPT 30B es un LLM open-weight de la familia MPT, con 30B parámetros. Uso principal: chat, RAG and general assistance. Hardware mínimo detectado: RTX A4500 (20 GB).

Comprobar en mi GPU →Hugging Face ↗
Ficha técnica
Parámetros30B
Contexto máximo8k
Q4_K_M18.9 GB
Q5_K_M23.1 GB
Q833.5 GB
FP1667.1 GB
FamiliaMPT
Última sync2026-05-12

Quantizations disponibles

Q4_K_M
18.9GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M
23.1GB

Buena calidad. Punto dulce tamaño / precisión.

Q8
33.5GB

Calidad casi FP16. Cómodo para producción.

FP16
67.1GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

GPUs capaces de ejecutar MPT 30B en una sola tarjeta, ordenadas por margen de VRAM.

RTX A4500
NVIDIA
20 GB · RTX A (Ampere)
18.9 / 20 GBjusto · Q4
RTX 4000 Ada
NVIDIA
20 GB · RTX Ada
18.9 / 20 GBjusto · Q4
Radeon RX 7900 XT
AMD
20 GB · RDNA 3
18.9 / 20 GBjusto · Q4
TITAN RTX
NVIDIA
24 GB · RTX 20
18.9 / 24 GBcómodo · Q4
RTX 3090
NVIDIA
24 GB · RTX 30
18.9 / 24 GBcómodo · Q4
RTX 3090 Ti
NVIDIA
24 GB · RTX 30
18.9 / 24 GBcómodo · Q4
RTX 4090
NVIDIA
24 GB · RTX 40
18.9 / 24 GBcómodo · Q4
Quadro RTX 6000
NVIDIA
24 GB · Quadro RTX
18.9 / 24 GBcómodo · Q4
RTX A5000
NVIDIA
24 GB · RTX A (Ampere)
18.9 / 24 GBcómodo · Q4
RTX A5500
NVIDIA
24 GB · RTX A (Ampere)
18.9 / 24 GBcómodo · Q4
RTX 4500 Ada
NVIDIA
24 GB · RTX Ada
18.9 / 24 GBcómodo · Q4
NVIDIA A10
NVIDIA
24 GB · Ampere DC
18.9 / 24 GBcómodo · Q4

Rigs multi-GPU recomendados

Para MPT 30B con quantization más alta o más contexto, un rig multi-GPU da más margen.

2× RTX 3080 10GB
NVIDIA
20 GB · RTX 30
18.9 / 20 GBjusto · Q4
2× Radeon RX 6700
AMD
20 GB · RDNA 2
18.9 / 20 GBjusto · Q4
2× Arc B570
Intel
20 GB · Arc Battlemage
18.9 / 20 GBjusto · Q4
2× GTX 1080 Ti
NVIDIA
22 GB · GTX 10
18.9 / 22 GBjusto · Q4
2× RTX 2080 Ti
NVIDIA
22 GB · RTX 20
18.9 / 22 GBjusto · Q4
4× GTX 1060 6GB
NVIDIA
24 GB · GTX 10
18.9 / 24 GBcómodo · Q4
4× GTX 1660
NVIDIA
24 GB · GTX 16
18.9 / 24 GBcómodo · Q4
4× GTX 1660 Super
NVIDIA
24 GB · GTX 16
18.9 / 24 GBcómodo · Q4

Rig recomendado

4× GTX 1060 6GB

MPT 30B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configurar →

Modelos similares

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12