face-à-face · GPU LLM

NVIDIA H200 141GB vs Instinct MI300X

Quel GPU pour faire tourner quel modèle en local. Comparatif sur VRAM, bande passante mémoire, consommation, et les modèles populaires que chacun peut charger en Q4 single-GPU.

141 GB
VRAM NVIDIA H200 141GB
192 GB
VRAM Instinct MI300X
4800 GB/s
BW NVIDIA H200 141GB
5300 GB/s
BW Instinct MI300X
▲ Specs côte à côte

Les chiffres bruts.

NVIDIA · Hopper · datacenter

NVIDIA H200 141GB

  • VRAM141 GB
  • Bande passante mémoire4800 GB/s
  • TDP nominal700 W
  • Catégoriedatacenter
  • Mémoire unifiéenon
→ Fiche NVIDIA H200 141GB
AMD · Instinct CDNA 3+ · datacenter

Instinct MI300X

  • VRAM192 GB
  • Bande passante mémoire5300 GB/s
  • TDP nominal750 W
  • Catégoriedatacenter
  • Mémoire unifiéenon
→ Fiche Instinct MI300X
▲ Modèles compatibles en Q4 single-GPU

Qui peut faire tourner quoi.

Liste des modèles populaires (Llama 70B, Qwen 72B, Mistral Large…) qui passent en VRAM single-GPU en quantization Q4. Pour les multi-GPU ou les quants moins agressifs, ouvrir le calculateur.

★ = exclusivité (ne tourne pas sur l'autre GPU en single-GPU Q4)

▲ Verdict

Ce que les chiffres disent.

Instinct MI300X a 51 GB de VRAM en plus, ce qui débloque 0 modèle au-dessus du seuil 141 GB.

Affiner avec ton vrai use case ?

Le calculateur estime tok/s, €/Mtok et break-even cloud pour ces GPUs avec le modèle de ton choix.