Falcon180B params2k contesto

Falcon 180B in locale

Falcon 180B è un LLM open-weight della famiglia Falcon, con 180B parametri. Uso principale: chat, RAG and general assistance. Hardware minimo rilevato: Instinct MI250 (128 GB).

Scheda tecnica
Parametri180B
Contesto massimo2k
Q4_K_M113.2 GB
Q5_K_M138.3 GB
Q8201.2 GB
FP16402.3 GB
FamigliaFalcon
Ultima sync2026-05-12

Quantization disponibili

Q4_K_M
113.2GB

Accettabile. Buon compromesso con VRAM limitata.

Q5_K_M
138.3GB

Buona qualità. Punto dolce tra dimensione e precisione.

Q8
201.2GB

Qualità quasi FP16. Comoda in produzione.

FP16
402.3GB

Precisione di riferimento. Qualità massima, più VRAM.

GPU compatibili

GPU capaci di eseguire Falcon 180B su una sola scheda, ordinate per margine VRAM.

Rig multi-GPU consigliati

Per Falcon 180B con quantization più alta o più contesto, un rig multi-GPU offre più margine.

Rig consigliato

4× RTX 5090

Falcon 180B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configura

Modelli simili

Stime VRAM: parametri x bits/8 più margine. Prestazioni reali secondo engine, contesto e batch.
sync: 2026-05-12