RTX 5090 vs Mac Studio M3 Ultra para LLM locales
DO
Damien · LocalIADos filosofias y dos ganadores segun el caso: VRAM dedicada vs memoria unificada, rendimiento, multiusuario y EUR por GB.
NVIDIA y Apple resuelven los LLM locales con filosofias distintas: VRAM dedicada muy rapida y ecosistema CUDA por un lado; memoria unificada masiva y escritorio silencioso por el otro.
La version corta
| RTX 5090 | 32 GB VRAM dedicada | Rapida, CUDA, excelente para servir y batch. |
| Mac Studio M3 Ultra | hasta 512 GB unificados | Mas lento, silencioso, capaz de cargar modelos enormes. |
Quien gana segun el uso
- Modelos por debajo de 70B con varios usuarios: gana NVIDIA.
- Modelos muy grandes para uno o dos usuarios: gana Mac Studio.
- Fine-tuning y herramientas de produccion: gana NVIDIA por CUDA.
- Puesto de investigacion silencioso: Mac Studio es dificil de batir.
Consejo LocalIA
- Investigador solo: Mac Studio si prima el silencio y la memoria.
- Dev agentic + RAG: una RTX 5090, luego dos si hace falta.
- Agencia o despacho: dos RTX 5090 con vLLM.
- Empresa sensible: GPUs NVIDIA pro, memoria ECC y soporte.
La mejor maquina es la que encaja con la carga, no la que gana un benchmark aislado.
Abre la calculadora / escríbenos para un consejo con tu modelo objetivo, usuarios y restricciones.
Preguntas frecuentes
RTX 5090 or Mac Studio M3 Ultra to run a local LLM?+
The RTX 5090 (32 GB dedicated VRAM) wins on throughput and multi-user (vLLM batching). The Mac Studio M3 Ultra (up to 512 GB unified) wins on the ability to load very large models for 1-2 users.
What is the best GPU to serve Llama 70B to 5 users?+
2x RTX 5090 (64 GB total VRAM) with vLLM. A single 5090 is tight for 70B Q3, but 2x 5090 allow comfortable Q5_K_M plus batching of 5-10 concurrent requests at ~30-40 tok/s combined.
Can the Mac Studio M3 Ultra run Mistral Large 123B?+
Yes, in Q5_K_M it fits comfortably in 96-128 GB unified. Single-user speed ~15-25 tok/s. Downside: no efficient batching (Metal Performance Shaders are less mature than CUDA), so it cannot handle 5+ concurrent users.
Which rig for a GDPR-sensitive law firm?+
Recommendation: an Enterprise build (2x RTX A6000 NVLink, 96 GB VRAM, ECC RAM). A Mac Studio is fine for a solo lawyer but not for 5+ concurrent users. RTX A6000 with ECC is server-grade, matching GDPR/AI Act expectations.
What is the cost per GB of VRAM in 2026?+
RTX 5090: ~EUR 110/GB. RTX A6000: ~EUR 145/GB. Mac Studio M3 Ultra 256 GB: ~EUR 24/GB, but with roughly 3x lower throughput.
GPUAppleComparativa