Configurar un rig →
Qwen72B params128k contextopopular

Qwen 2.5 72B en local

Qwen 2.5 72B es un LLM open-weight de la familia Qwen, con 72B parámetros. Uso principal: chat, RAG and general assistance. Hardware mínimo detectado: Quadro RTX 8000 (48 GB).

Comprobar en mi GPU →Hugging Face ↗
Ficha técnica
Parámetros72B
Contexto máximo128k
Q4_K_M45.3 GB
Q5_K_M55.3 GB
Q880.5 GB
FP16160.9 GB
FamiliaQwen
Última sync2026-05-12

Quantizations disponibles

Q4_K_M
45.3GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M
55.3GB

Buena calidad. Punto dulce tamaño / precisión.

Q8
80.5GB

Calidad casi FP16. Cómodo para producción.

FP16
160.9GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

GPUs capaces de ejecutar Qwen 2.5 72B en una sola tarjeta, ordenadas por margen de VRAM.

Quadro RTX 8000
NVIDIA
48 GB · Quadro RTX
45.3 / 48 GBjusto · Q4
RTX A6000
NVIDIA
48 GB · RTX A (Ampere)
45.3 / 48 GBjusto · Q4
RTX 6000 Ada
NVIDIA
48 GB · RTX Ada
45.3 / 48 GBjusto · Q4
NVIDIA A40
NVIDIA
48 GB · Ampere DC
45.3 / 48 GBjusto · Q4
NVIDIA L40
NVIDIA
48 GB · Lovelace DC
45.3 / 48 GBjusto · Q4
NVIDIA L40S
NVIDIA
48 GB · Lovelace DC
45.3 / 48 GBjusto · Q4
Radeon Pro W7900
AMD
48 GB · Radeon Pro W
45.3 / 48 GBjusto · Q4
Mac Mini M4 Pro (48GB)
Apple
48 GB · Mac Mini
45.3 / 48 GBjusto · Q4
MacBook Pro 14 M4 Pro (48GB)
Apple
48 GB · MacBook Pro 14
45.3 / 48 GBjusto · Q4
MacBook Pro 14 M4 Max (48GB)
Apple
48 GB · MacBook Pro 14
45.3 / 48 GBjusto · Q4
MacBook Pro 16 M3 Max (48GB)
Apple
48 GB · MacBook Pro 16
45.3 / 48 GBjusto · Q4
MacBook Pro 16 M4 Pro (48GB)
Apple
48 GB · MacBook Pro 16
45.3 / 48 GBjusto · Q4

Rigs multi-GPU recomendados

Para Qwen 2.5 72B con quantization más alta o más contexto, un rig multi-GPU da más margen.

4× RTX 2060 12GB
NVIDIA
48 GB · RTX 20
45.3 / 48 GBjusto · Q4
2× TITAN RTX
NVIDIA
48 GB · RTX 20
45.3 / 48 GBjusto · Q4
4× RTX 3060 12GB
NVIDIA
48 GB · RTX 30
45.3 / 48 GBjusto · Q4
4× RTX 3080 12GB
NVIDIA
48 GB · RTX 30
45.3 / 48 GBjusto · Q4
4× RTX 3080 Ti
NVIDIA
48 GB · RTX 30
45.3 / 48 GBjusto · Q4
2× RTX 3090
NVIDIA
48 GB · RTX 30
45.3 / 48 GBjusto · Q4
2× RTX 3090 Ti
NVIDIA
48 GB · RTX 30
45.3 / 48 GBjusto · Q4
4× RTX 4070
NVIDIA
48 GB · RTX 40
45.3 / 48 GBjusto · Q4

Rig recomendado

4× RTX 2060 12GB

Qwen 2.5 72B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configurar →

Modelos similares

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12