Configurar un rig →
Qwen32B params128k contextopopular

Qwen 2.5 32B en local

Qwen 2.5 32B es un LLM open-weight de la familia Qwen, con 32B parámetros. Uso principal: chat, RAG and general assistance. Hardware mínimo detectado: TITAN RTX (24 GB).

Comprobar en mi GPU →Hugging Face ↗
Ficha técnica
Parámetros32B
Contexto máximo128k
Q4_K_M20.1 GB
Q5_K_M24.6 GB
Q835.8 GB
FP1671.5 GB
FamiliaQwen
Última sync2026-05-12

Quantizations disponibles

Q4_K_M
20.1GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M
24.6GB

Buena calidad. Punto dulce tamaño / precisión.

Q8
35.8GB

Calidad casi FP16. Cómodo para producción.

FP16
71.5GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

GPUs capaces de ejecutar Qwen 2.5 32B en una sola tarjeta, ordenadas por margen de VRAM.

TITAN RTX
NVIDIA
24 GB · RTX 20
20.1 / 24 GBcómodo · Q4
RTX 3090
NVIDIA
24 GB · RTX 30
20.1 / 24 GBcómodo · Q4
RTX 3090 Ti
NVIDIA
24 GB · RTX 30
20.1 / 24 GBcómodo · Q4
RTX 4090
NVIDIA
24 GB · RTX 40
20.1 / 24 GBcómodo · Q4
Quadro RTX 6000
NVIDIA
24 GB · Quadro RTX
20.1 / 24 GBcómodo · Q4
RTX A5000
NVIDIA
24 GB · RTX A (Ampere)
20.1 / 24 GBcómodo · Q4
RTX A5500
NVIDIA
24 GB · RTX A (Ampere)
20.1 / 24 GBcómodo · Q4
RTX 4500 Ada
NVIDIA
24 GB · RTX Ada
20.1 / 24 GBcómodo · Q4
NVIDIA A10
NVIDIA
24 GB · Ampere DC
20.1 / 24 GBcómodo · Q4
NVIDIA A30
NVIDIA
24 GB · Ampere DC
20.1 / 24 GBcómodo · Q4
NVIDIA L4
NVIDIA
24 GB · Lovelace DC
20.1 / 24 GBcómodo · Q4
Radeon RX 7900 XTX
AMD
24 GB · RDNA 3
20.1 / 24 GBcómodo · Q4

Rigs multi-GPU recomendados

Para Qwen 2.5 32B con quantization más alta o más contexto, un rig multi-GPU da más margen.

2× GTX 1080 Ti
NVIDIA
22 GB · GTX 10
20.1 / 22 GBjusto · Q4
2× RTX 2080 Ti
NVIDIA
22 GB · RTX 20
20.1 / 22 GBjusto · Q4
4× GTX 1060 6GB
NVIDIA
24 GB · GTX 10
20.1 / 24 GBcómodo · Q4
4× GTX 1660
NVIDIA
24 GB · GTX 16
20.1 / 24 GBcómodo · Q4
4× GTX 1660 Super
NVIDIA
24 GB · GTX 16
20.1 / 24 GBcómodo · Q4
4× GTX 1660 Ti
NVIDIA
24 GB · GTX 16
20.1 / 24 GBcómodo · Q4
4× RTX 2060 6GB
NVIDIA
24 GB · RTX 20
20.1 / 24 GBcómodo · Q4
2× RTX 2060 12GB
NVIDIA
24 GB · RTX 20
20.1 / 24 GBcómodo · Q4

Rig recomendado

4× GTX 1060 6GB

Qwen 2.5 32B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configurar →

Modelos similares

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12