Que GPU necesitas para ejecutar Llama 3.3 70B en local en 2026?
DO
Damien · LocalIAVRAM por quantization, GPUs compatibles, RTX 5090 vs A6000 vs H100 y comparativa coste/rendimiento frente a APIs OpenAI.
Llama 3.3 70B es uno de los modelos open-weight de referencia para RAG y agentes locales. La condicion es simple: hace falta suficiente VRAM y elegir bien la quantization.
VRAM por quantization
| Q4_K_M | ~47 GB | Calidad aceptable, no cabe en una sola GPU consumer. |
| Q5_K_M | ~58 GB | Muy buena calidad, recomendada para RAG. |
| Q8 | ~84 GB | Calidad casi FP16. |
| FP16 | ~168 GB | Precision de referencia, nivel datacenter. |
Casos hardware tipicos
- 24-32 GB: mejor usar modelos mas pequenos o offload CPU.
- 48-64 GB: punto dulce 2026, especialmente 2 RTX 5090 para Q5.
- 80+ GB: Q8 y grandes MoE se vuelven realistas.
Recomendacion por perfil
- Solo dev: una RTX 5090 y un modelo 14B-32B suele ser mas sensato.
- Equipo pequeno: dos RTX 5090 para Llama 70B Q5.
- Pyme juridica o medica: GPUs pro y stack RAG preinstalado.
Antes de comprar, prueba el modelo objetivo en el calculador LocalIA y mira el margen de VRAM.
Abre la calculadora / escríbenos para un consejo con tu modelo objetivo, usuarios y restricciones.
Preguntas frecuentes
What is the minimum GPU to run Llama 3.3 70B locally?+
An RTX 5090 (32 GB) in Q3_K_M works with quality trade-offs. For comfortable Q5_K_M: 2x RTX 5090 (64 GB) or 1x A6000 (48 GB). For Q8 production: 2x A6000 NVLink (96 GB) or 1x H100 80 GB.
How much VRAM for Llama 70B in Q4?+
Around 44 GB in Q4_K_M (params x 0.5625 bytes + 20% overhead for KV cache and context). So 48 GB minimum (A6000) or 64 GB (2x 5090). The 32 GB of a single 5090 is not enough for Q4 without offload.
What differences between Q3, Q4, Q5 and Q8 on Llama 70B?+
Q3: 32 GB VRAM, degraded reasoning quality. Q4: 44 GB, the consumer sweet spot. Q5: 52 GB, indistinguishable from FP16 in chat. Q8: 78 GB, near-FP16 for production. For most uses, Q5_K_M is the best quality/VRAM trade-off.
RTX 4090 or RTX 5090 for Llama 70B in 2026?+
The RTX 5090 (32 GB) wins on VRAM capacity (+33%), bandwidth (~1,800 GB/s vs 1,000) and FP4 support. In mid-2026 both sit at similar prices due to the AI shortage, so prefer the 5090 to be future-proof.
Is a Pro build (~EUR 11,990) well sized for Llama 70B?+
Yes, it is the 2026 sweet spot. 2x RTX 5090 = 64 GB total VRAM via vLLM tensor parallelism. Llama 3.3 70B Q5_K_M runs at 28-35 tok/s single-user and reaches 90-100 tok/s combined in batching for 5 users.
GPULlamaRAG