Configurar un rig →
Falcon40B params2k contexto

Falcon 40B en local

Falcon 40B es un LLM open-weight de la familia Falcon, con 40B parámetros. Uso principal: chat, RAG and general assistance. Hardware mínimo detectado: RTX 5090 (32 GB).

Comprobar en mi GPU →Hugging Face ↗
Ficha técnica
Parámetros40B
Contexto máximo2k
Q4_K_M25.1 GB
Q5_K_M30.7 GB
Q844.7 GB
FP1689.4 GB
FamiliaFalcon
Última sync2026-05-12

Quantizations disponibles

Q4_K_M
25.1GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M
30.7GB

Buena calidad. Punto dulce tamaño / precisión.

Q8
44.7GB

Calidad casi FP16. Cómodo para producción.

FP16
89.4GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

GPUs capaces de ejecutar Falcon 40B en una sola tarjeta, ordenadas por margen de VRAM.

RTX 5090
NVIDIA
32 GB · RTX 50
25.1 / 32 GBcómodo · Q4
RTX 5000 Ada
NVIDIA
32 GB · RTX Ada
25.1 / 32 GBcómodo · Q4
Radeon Pro W6800
AMD
32 GB · Radeon Pro W
25.1 / 32 GBcómodo · Q4
Radeon Pro W7800
AMD
32 GB · Radeon Pro W
25.1 / 32 GBcómodo · Q4
Instinct MI100
AMD
32 GB · Instinct CDNA 1-2
25.1 / 32 GBcómodo · Q4
Mac Mini M2 Pro (32GB)
Apple
32 GB · Mac Mini
25.1 / 32 GBcómodo · Q4
Mac Mini M4 (32GB)
Apple
32 GB · Mac Mini
25.1 / 32 GBcómodo · Q4
MacBook Air M4 (32GB)
Apple
32 GB · MacBook Air
25.1 / 32 GBcómodo · Q4
MacBook Pro 14 M1 Pro (32GB)
Apple
32 GB · MacBook Pro 14
25.1 / 32 GBcómodo · Q4
MacBook Pro 14 M1 Max (32GB)
Apple
32 GB · MacBook Pro 14
25.1 / 32 GBcómodo · Q4
MacBook Pro 14 M2 Pro (32GB)
Apple
32 GB · MacBook Pro 14
25.1 / 32 GBcómodo · Q4
MacBook Pro 14 M2 Max (32GB)
Apple
32 GB · MacBook Pro 14
25.1 / 32 GBcómodo · Q4

Rigs multi-GPU recomendados

Para Falcon 40B con quantization más alta o más contexto, un rig multi-GPU da más margen.

4× GTX 1070
NVIDIA
32 GB · GTX 10
25.1 / 32 GBcómodo · Q4
4× GTX 1070 Ti
NVIDIA
32 GB · GTX 10
25.1 / 32 GBcómodo · Q4
4× GTX 1080
NVIDIA
32 GB · GTX 10
25.1 / 32 GBcómodo · Q4
4× RTX 2060 Super
NVIDIA
32 GB · RTX 20
25.1 / 32 GBcómodo · Q4
4× RTX 2070
NVIDIA
32 GB · RTX 20
25.1 / 32 GBcómodo · Q4
4× RTX 2070 Super
NVIDIA
32 GB · RTX 20
25.1 / 32 GBcómodo · Q4
4× RTX 2080
NVIDIA
32 GB · RTX 20
25.1 / 32 GBcómodo · Q4
4× RTX 2080 Super
NVIDIA
32 GB · RTX 20
25.1 / 32 GBcómodo · Q4

Rig recomendado

4× GTX 1070

Falcon 40B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configurar →

Modelos similares

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12