Configurer un rig →
Inteldata centerGaudi

Gaudi 2 pour l'IA locale

Le Gaudi 2 est un GPU data center (96 GB de VRAM) destiné aux serveurs et infrastructures cloud. Sur les 242 modèles open source de notre catalogue, 227 tournent confortablement dessus en mono-carte.

Voir tous les modèles compatibles →Rig autour du 2 ↗
VRAM
96GB
Catégorie
Datacenter
Série
Gaudi
Vendor
Intel

Modèles qui tournent confortablement

Ces modèles tiennent dans 96GB avec marge pour le contexte long et l'inférence stable. Triés du plus gros au plus petit.

★Mistral Large 123Bmistral77.3 GBcompatibleQ4 · / 96 GB
★NVIDIA Nemotron 3 Super 120B A12B BF16nemotron75.4 GBcompatibleQ4 · / 96 GB
★Llama 4 Scout 17Bx16llama · MoE68.5 GBcompatibleQ4 · / 96 GB
★Command R+ 104Bcommand79.9 GBcompatibleQ5 · / 96 GB
★Qwen3 Next 80B A3B Instructqwen61.5 GBcompatibleQ5 · / 96 GB
★Qwen 2.5 72Bqwen80.5 GBcompatibleQ8 · / 96 GB
Qwen 2.5 VL 72Bqwen80.5 GBcompatibleQ8 · / 96 GB
★Qwen2.5 72B Instructqwen80.5 GBcompatibleQ8 · / 96 GB
Llama 2 70Bllama78.2 GBcompatibleQ8 · / 96 GB
Llama 3 70Bllama78.2 GBcompatibleQ8 · / 96 GB
Llama 3.1 70Bllama78.2 GBcompatibleQ8 · / 96 GB
★Llama 3.3 70Bllama78.2 GBcompatibleQ8 · / 96 GB
CodeLlama 70Bcodellama78.2 GBcompatibleQ8 · / 96 GB
★DeepSeek R1 Distill 70Bdeepseek78.2 GBcompatibleQ8 · / 96 GB
Hermes 3 70Bhermes78.2 GBcompatibleQ8 · / 96 GB
★Llama 3.1 Nemotron 70Bnemotron78.2 GBcompatibleQ8 · / 96 GB
Athene 70Bathene78.2 GBcompatibleQ8 · / 96 GB
★Llama 3.3 70B Instructllama78.2 GBcompatibleQ8 · / 96 GB
★Llama 3.1 70B Instructllama78.2 GBcompatibleQ8 · / 96 GB
★Mixtral 8x7Bmistral · MoE52.5 GBcompatibleQ8 · / 96 GB
Falcon 40Bfalcon44.7 GBcompatibleQ8 · / 96 GB
Command R 35Bcommand78.2 GBcompatibleFP16 · / 96 GB
Aya 23 35Baya78.2 GBcompatibleFP16 · / 96 GB
CodeLlama 34Bcodellama76.0 GBcompatibleFP16 · / 96 GB
Yi 1.5 34Byi76.0 GBcompatibleFP16 · / 96 GB
★dolphin 2.9.1 yi 1.5 34byi76.0 GBcompatibleFP16 · / 96 GB
★Qwen 2.5 32Bqwen71.5 GBcompatibleFP16 · / 96 GB
★Qwen 2.5 Coder 32Bqwen71.5 GBcompatibleFP16 · / 96 GB
★Qwen 3 32Bqwen71.5 GBcompatibleFP16 · / 96 GB
★QwQ 32Bqwq71.5 GBcompatibleFP16 · / 96 GB

+ 197 autres — voir le calculateur complet →

Modèles serrés (possibles mais lents)

Ces modèles tiennent tout juste. Tournent mais le contexte disponible est limité, et l'inférence peut être lente si on dépasse la VRAM (offload CPU).

Mixtral 8x22Bmistral · MoE88.6 GBserréQ4 · / 96 GB

Débloqués en rig 2×

Avec 2 cartes en parallèle (192 GB total), vous accédez à des modèles plus gros et à des quantizations plus hautes.

DeepSeek V2deepseek · MoE148.4 GBcompatibleQ4 · / 192 GB
DeepSeek Coder V2deepseek · MoE148.4 GBcompatibleQ4 · / 192 GB
★Qwen 3 235B A22Bqwen · MoE147.7 GBcompatibleQ4 · / 192 GB
★Qwen3 235B A22Bqwen147.7 GBcompatibleQ4 · / 192 GB
Falcon 180Bfalcon138.3 GBcompatibleQ5 · / 192 GB

Débloqués en rig 4×

Configuration entreprise / serveur (384 GB total) : vous accédez aux flagships open source 70B+ et aux MoE moyens.

★Llama 3.1 405Bllama311.2 GBcompatibleQ5 · / 384 GB
Hermes 3 405Bhermes311.2 GBcompatibleQ5 · / 384 GB
★Llama 4 Maverick 17Bx128llama · MoE307.3 GBcompatibleQ5 · / 384 GB
Nemotron 340Bnemotron261.2 GBcompatibleQ5 · / 384 GB

GPUs similaires

// données mises à jour le 2026-05-12 via HuggingFace API.
// estimations VRAM : (params × bits/8) × overhead 20 %.