Configurar un rig →
Falcon180B params2k contexto

Falcon 180B en local

Falcon 180B es un LLM open-weight de la familia Falcon, con 180B parámetros. Uso principal: chat, RAG and general assistance. Hardware mínimo detectado: Instinct MI250 (128 GB).

Comprobar en mi GPU →Hugging Face ↗
Ficha técnica
Parámetros180B
Contexto máximo2k
Q4_K_M113.2 GB
Q5_K_M138.3 GB
Q8201.2 GB
FP16402.3 GB
FamiliaFalcon
Última sync2026-05-12

Quantizations disponibles

Q4_K_M
113.2GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M
138.3GB

Buena calidad. Punto dulce tamaño / precisión.

Q8
201.2GB

Calidad casi FP16. Cómodo para producción.

FP16
402.3GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

GPUs capaces de ejecutar Falcon 180B en una sola tarjeta, ordenadas por margen de VRAM.

Instinct MI250
AMD
128 GB · Instinct CDNA 1-2
113.2 / 128 GBjusto · Q4
Instinct MI250X
AMD
128 GB · Instinct CDNA 1-2
113.2 / 128 GBjusto · Q4
MacBook Pro 14 M3 Max (128GB)
Apple
128 GB · MacBook Pro 14
113.2 / 128 GBjusto · Q4
MacBook Pro 14 M4 Max (128GB)
Apple
128 GB · MacBook Pro 14
113.2 / 128 GBjusto · Q4
MacBook Pro 16 M3 Max (128GB)
Apple
128 GB · MacBook Pro 16
113.2 / 128 GBjusto · Q4
MacBook Pro 16 M4 Max (128GB)
Apple
128 GB · MacBook Pro 16
113.2 / 128 GBjusto · Q4
Mac Studio M1 Ultra (128GB)
Apple
128 GB · Mac Studio
113.2 / 128 GBjusto · Q4
Mac Studio M2 Ultra (128GB)
Apple
128 GB · Mac Studio
113.2 / 128 GBjusto · Q4
Mac Studio M4 Max (128GB)
Apple
128 GB · Mac Studio
113.2 / 128 GBjusto · Q4
Mac Pro M2 Ultra (128GB)
Apple
128 GB · Mac Pro
113.2 / 128 GBjusto · Q4
Gaudi 3
Intel
128 GB · Gaudi
113.2 / 128 GBjusto · Q4
NVIDIA H200 141GB
NVIDIA
141 GB · Hopper
113.2 / 141 GBcómodo · Q4

Rigs multi-GPU recomendados

Para Falcon 180B con quantization más alta o más contexto, un rig multi-GPU da más margen.

4× RTX 5090
NVIDIA
128 GB · RTX 50
113.2 / 128 GBjusto · Q4

Rig recomendado

4× RTX 5090

Falcon 180B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configurar →

Modelos similares

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12