face-à-face · GPU LLM

NVIDIA H200 141GB vs RTX A6000

Quel GPU pour faire tourner quel modèle en local. Comparatif sur VRAM, bande passante mémoire, consommation, et les modèles populaires que chacun peut charger en Q4 single-GPU.

141 GB
VRAM NVIDIA H200 141GB
48 GB
VRAM RTX A6000
4800 GB/s
BW NVIDIA H200 141GB
768 GB/s
BW RTX A6000
▲ Specs côte à côte

Les chiffres bruts.

NVIDIA · Hopper · datacenter

NVIDIA H200 141GB

  • VRAM141 GB
  • Bande passante mémoire4800 GB/s
  • TDP nominal700 W
  • Catégoriedatacenter
  • Mémoire unifiéenon
→ Fiche NVIDIA H200 141GB
NVIDIA · RTX A (Ampere) · pro

RTX A6000

  • VRAM48 GB
  • Bande passante mémoire768 GB/s
  • TDP nominal300 W
  • Catégoriepro
  • Mémoire unifiéenon
→ Fiche RTX A6000
▲ Modèles compatibles en Q4 single-GPU

Qui peut faire tourner quoi.

Liste des modèles populaires (Llama 70B, Qwen 72B, Mistral Large…) qui passent en VRAM single-GPU en quantization Q4. Pour les multi-GPU ou les quants moins agressifs, ouvrir le calculateur.

★ = exclusivité (ne tourne pas sur l'autre GPU en single-GPU Q4)

▲ Verdict

Ce que les chiffres disent.

NVIDIA H200 141GB a 93 GB de VRAM en plus, ce qui débloque 1 modèle au-dessus du seuil 48 GB. Côté débit, NVIDIA H200 141GB a 4800 GB/s contre 768 GB/s pour RTX A6000 — soit ~525% plus de tok/s en inférence quantization-bound. Consommation : NVIDIA H200 141GB 700 W vs RTX A6000 300 W — écart significatif pour le coût énergétique long terme.

Choisir NVIDIA H200 141GB

Tu vises du serveur 24/7, multi-tenant, avec FP8 / sparsity hardware et NVLink à pleine vitesse.

→ Fiche NVIDIA H200 141GB
Choisir RTX A6000

Tu veux un meilleur rapport perf/€, ou tu en mets plusieurs dans ton rig pour scaler.

→ Fiche RTX A6000

Affiner avec ton vrai use case ?

Le calculateur estime tok/s, €/Mtok et break-even cloud pour ces GPUs avec le modèle de ton choix.