NVIDIA A100 80GB
- VRAM80 GB
- Bande passante mémoire1935 GB/s
- TDP nominal300 W
- Catégoriedatacenter
- Mémoire unifiéenon
Quel GPU pour faire tourner quel modèle en local. Comparatif sur VRAM, bande passante mémoire, consommation, et les modèles populaires que chacun peut charger en Q4 single-GPU.
Liste des modèles populaires (Llama 70B, Qwen 72B, Mistral Large…) qui passent en VRAM single-GPU en quantization Q4. Pour les multi-GPU ou les quants moins agressifs, ouvrir le calculateur.
★ = exclusivité (ne tourne pas sur l'autre GPU en single-GPU Q4)
NVIDIA H200 141GB a 61 GB de VRAM en plus, ce qui débloque 0 modèle au-dessus du seuil 80 GB. Côté débit, NVIDIA H200 141GB a 4800 GB/s contre 1935 GB/s pour NVIDIA A100 80GB — soit ~148% plus de tok/s en inférence quantization-bound. Consommation : NVIDIA A100 80GB 300 W vs NVIDIA H200 141GB 700 W — écart significatif pour le coût énergétique long terme.
Tu veux un meilleur rapport perf/€, ou tu en mets plusieurs dans ton rig pour scaler.
→ Fiche NVIDIA A100 80GBTu veux pouvoir charger des modèles plus gros (70B+ en single GPU) sans tensor parallelism.
→ Fiche NVIDIA H200 141GBLe calculateur estime tok/s, €/Mtok et break-even cloud pour ces GPUs avec le modèle de ton choix.