RTX 4090
- VRAM24 GB
- Bande passante mémoire1008 GB/s
- TDP nominal450 W
- Catégorieconsumer
- Mémoire unifiéenon
Quel GPU pour faire tourner quel modèle en local. Comparatif sur VRAM, bande passante mémoire, consommation, et les modèles populaires que chacun peut charger en Q4 single-GPU.
Liste des modèles populaires (Llama 70B, Qwen 72B, Mistral Large…) qui passent en VRAM single-GPU en quantization Q4. Pour les multi-GPU ou les quants moins agressifs, ouvrir le calculateur.
★ = exclusivité (ne tourne pas sur l'autre GPU en single-GPU Q4)
RTX A6000 a 24 GB de VRAM en plus, ce qui débloque 2 modèles au-dessus du seuil 24 GB. Côté débit, RTX 4090 a 1008 GB/s contre 768 GB/s pour RTX A6000 — soit ~31% plus de tok/s en inférence quantization-bound. Consommation : RTX 4090 450 W vs RTX A6000 300 W — écart significatif pour le coût énergétique long terme.
Tu veux un setup desktop accessible, pas de licence pro, garantie consumer standard.
→ Fiche RTX 4090Tu veux ECC, support workstation, double-precision et drivers certifiés CAD/AI.
→ Fiche RTX A6000Le calculateur estime tok/s, €/Mtok et break-even cloud pour ces GPUs avec le modèle de ton choix.