Configura un rig →
MPT30B params8k contesto

MPT 30B in locale

MPT 30B è un LLM open-weight della famiglia MPT, con 30B parametri. Uso principale: chat, RAG and general assistance. Hardware minimo rilevato: RTX A4500 (20 GB).

Verifica sulla mia GPU →Hugging Face ↗
Scheda tecnica
Parametri30B
Contesto massimo8k
Q4_K_M18.9 GB
Q5_K_M23.1 GB
Q833.5 GB
FP1667.1 GB
FamigliaMPT
Ultima sync2026-05-12

Quantization disponibili

Q4_K_M
18.9GB

Accettabile. Buon compromesso con VRAM limitata.

Q5_K_M
23.1GB

Buona qualità. Punto dolce tra dimensione e precisione.

Q8
33.5GB

Qualità quasi FP16. Comoda in produzione.

FP16
67.1GB

Precisione di riferimento. Qualità massima, più VRAM.

GPU compatibili

GPU capaci di eseguire MPT 30B su una sola scheda, ordinate per margine VRAM.

RTX A4500
NVIDIA
20 GB · RTX A (Ampere)
18.9 / 20 GBstretto · Q4
RTX 4000 Ada
NVIDIA
20 GB · RTX Ada
18.9 / 20 GBstretto · Q4
Radeon RX 7900 XT
AMD
20 GB · RDNA 3
18.9 / 20 GBstretto · Q4
TITAN RTX
NVIDIA
24 GB · RTX 20
18.9 / 24 GBcomodo · Q4
RTX 3090
NVIDIA
24 GB · RTX 30
18.9 / 24 GBcomodo · Q4
RTX 3090 Ti
NVIDIA
24 GB · RTX 30
18.9 / 24 GBcomodo · Q4
RTX 4090
NVIDIA
24 GB · RTX 40
18.9 / 24 GBcomodo · Q4
Quadro RTX 6000
NVIDIA
24 GB · Quadro RTX
18.9 / 24 GBcomodo · Q4
RTX A5000
NVIDIA
24 GB · RTX A (Ampere)
18.9 / 24 GBcomodo · Q4
RTX A5500
NVIDIA
24 GB · RTX A (Ampere)
18.9 / 24 GBcomodo · Q4
RTX 4500 Ada
NVIDIA
24 GB · RTX Ada
18.9 / 24 GBcomodo · Q4
NVIDIA A10
NVIDIA
24 GB · Ampere DC
18.9 / 24 GBcomodo · Q4

Rig multi-GPU consigliati

Per MPT 30B con quantization più alta o più contesto, un rig multi-GPU offre più margine.

2× RTX 3080 10GB
NVIDIA
20 GB · RTX 30
18.9 / 20 GBstretto · Q4
2× Radeon RX 6700
AMD
20 GB · RDNA 2
18.9 / 20 GBstretto · Q4
2× Arc B570
Intel
20 GB · Arc Battlemage
18.9 / 20 GBstretto · Q4
2× GTX 1080 Ti
NVIDIA
22 GB · GTX 10
18.9 / 22 GBstretto · Q4
2× RTX 2080 Ti
NVIDIA
22 GB · RTX 20
18.9 / 22 GBstretto · Q4
4× GTX 1060 6GB
NVIDIA
24 GB · GTX 10
18.9 / 24 GBcomodo · Q4
4× GTX 1660
NVIDIA
24 GB · GTX 16
18.9 / 24 GBcomodo · Q4
4× GTX 1660 Super
NVIDIA
24 GB · GTX 16
18.9 / 24 GBcomodo · Q4

Rig consigliato

4× GTX 1060 6GB

MPT 30B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configura →

Modelli simili

Stime VRAM: parametri x bits/8 più margine. Prestazioni reali secondo engine, contesto e batch.
sync: 2026-05-12