Configurer un rig →
NVIDIAdata centerLovelace DC

NVIDIA L4 pour l'IA locale

Le NVIDIA L4 est un GPU milieu de gamme (24 GB de VRAM) destiné aux serveurs et infrastructures cloud. Sur les 242 modèles open source de notre catalogue, 201 tournent confortablement dessus en mono-carte.

Voir tous les modèles compatibles →Rig autour du L4 ↗
VRAM
24GB
Catégorie
Datacenter
Série
Lovelace DC
Vendor
NVIDIA

Modèles qui tournent confortablement

Ces modèles tiennent dans 24GB avec marge pour le contexte long et l'inférence stable. Triés du plus gros au plus petit.

★Qwen 2.5 32Bqwen20.1 GBcompatibleQ4 · / 24 GB
★Qwen 2.5 Coder 32Bqwen20.1 GBcompatibleQ4 · / 24 GB
★Qwen 3 32Bqwen20.1 GBcompatibleQ4 · / 24 GB
★QwQ 32Bqwq20.1 GBcompatibleQ4 · / 24 GB
★DeepSeek R1 Distill 32Bdeepseek20.1 GBcompatibleQ4 · / 24 GB
Qwen 2.5 VL 32Bqwen20.1 GBcompatibleQ4 · / 24 GB
★Granite 4 H-Small 32B-A9Bgranite · MoE20.1 GBcompatibleQ4 · / 24 GB
GLM-4.6glm20.1 GBcompatibleQ4 · / 24 GB
★GLM-4.7glm20.1 GBcompatibleQ4 · / 24 GB
★GLM-5glm20.1 GBcompatibleQ4 · / 24 GB
★GLM-5.1glm20.1 GBcompatibleQ4 · / 24 GB
★Qwen3 32Bqwen20.1 GBcompatibleQ4 · / 24 GB
★Qwen2.5 Coder 32B Instructqwen20.1 GBcompatibleQ4 · / 24 GB
★DeepSeek R1 Distill Qwen 32Bqwen20.1 GBcompatibleQ4 · / 24 GB
★Qwen2.5 32B Instructqwen20.1 GBcompatibleQ4 · / 24 GB
★Gemma 4 31Bgemma19.5 GBcompatibleQ4 · / 24 GB
★Qwen 3 30B A3Bqwen · MoE18.9 GBcompatibleQ4 · / 24 GB
MPT 30Bmpt18.9 GBcompatibleQ4 · / 24 GB
★Qwen3 Coder 30B A3B Instructqwen18.9 GBcompatibleQ4 · / 24 GB
★Qwen3 30B A3Bqwen18.9 GBcompatibleQ4 · / 24 GB
★Qwen3 30B A3B Instruct 2507qwen18.9 GBcompatibleQ4 · / 24 GB
★NVIDIA Nemotron 3 Nano 30B A3B BF16nemotron18.9 GBcompatibleQ4 · / 24 GB
★Gemma 2 27Bgemma17.0 GBcompatibleQ4 · / 24 GB
★Gemma 3 27Bgemma17.0 GBcompatibleQ4 · / 24 GB
★Gemma 4 26B A4Bgemma · MoE20.0 GBcompatibleQ5 · / 24 GB
★Mistral Small 3 24Bmistral18.4 GBcompatibleQ5 · / 24 GB
★Mistral Small 3.1 24Bmistral18.4 GBcompatibleQ5 · / 24 GB
★Mistral Small 3.2 24Bmistral18.4 GBcompatibleQ5 · / 24 GB
★Devstral Small 2 24Bdevstral18.4 GBcompatibleQ5 · / 24 GB
Mistral Small 22Bmistral16.9 GBcompatibleQ5 · / 24 GB

+ 171 autres — voir le calculateur complet →

Modèles serrés (possibles mais lents)

Ces modèles tiennent tout juste. Tournent mais le contexte disponible est limité, et l'inférence peut être lente si on dépasse la VRAM (offload CPU).

Command R 35Bcommand22.0 GBserréQ4 · / 24 GB
Aya 23 35Baya22.0 GBserréQ4 · / 24 GB
CodeLlama 34Bcodellama21.4 GBserréQ4 · / 24 GB
Yi 1.5 34Byi21.4 GBserréQ4 · / 24 GB
★dolphin 2.9.1 yi 1.5 34byi21.4 GBserréQ4 · / 24 GB

Débloqués en rig 2×

Avec 2 cartes en parallèle (48 GB total), vous accédez à des modèles plus gros et à des quantizations plus hautes.

★Qwen 2.5 72Bqwen45.3 GBserréQ4 · / 48 GB
Qwen 2.5 VL 72Bqwen45.3 GBserréQ4 · / 48 GB
★Qwen2.5 72B Instructqwen45.3 GBserréQ4 · / 48 GB
Llama 2 70Bllama44.0 GBserréQ4 · / 48 GB
Llama 3 70Bllama44.0 GBserréQ4 · / 48 GB
Llama 3.1 70Bllama44.0 GBserréQ4 · / 48 GB
★Llama 3.3 70Bllama44.0 GBserréQ4 · / 48 GB
CodeLlama 70Bcodellama44.0 GBserréQ4 · / 48 GB
★DeepSeek R1 Distill 70Bdeepseek44.0 GBserréQ4 · / 48 GB
Hermes 3 70Bhermes44.0 GBserréQ4 · / 48 GB
★Llama 3.1 Nemotron 70Bnemotron44.0 GBserréQ4 · / 48 GB
Athene 70Bathene44.0 GBserréQ4 · / 48 GB
★Llama 3.3 70B Instructllama44.0 GBserréQ4 · / 48 GB
★Llama 3.1 70B Instructllama44.0 GBserréQ4 · / 48 GB
★Mixtral 8x7Bmistral · MoE36.1 GBcompatibleQ5 · / 48 GB

Débloqués en rig 4×

Configuration entreprise / serveur (96 GB total) : vous accédez aux flagships open source 70B+ et aux MoE moyens.

Mixtral 8x22Bmistral · MoE88.6 GBserréQ4 · / 96 GB
★Mistral Large 123Bmistral77.3 GBcompatibleQ4 · / 96 GB
★NVIDIA Nemotron 3 Super 120B A12B BF16nemotron75.4 GBcompatibleQ4 · / 96 GB
★Llama 4 Scout 17Bx16llama · MoE68.5 GBcompatibleQ4 · / 96 GB
★Command R+ 104Bcommand79.9 GBcompatibleQ5 · / 96 GB
★Qwen3 Next 80B A3B Instructqwen61.5 GBcompatibleQ5 · / 96 GB

GPUs similaires

// données mises à jour le 2026-05-12 via HuggingFace API.
// estimations VRAM : (params × bits/8) × overhead 20 %.