Configurar un rig →
NVIDIADatacenterAmpere DC

NVIDIA A40 para IA local

NVIDIA A40 ofrece 48 GB de VRAM para IA local. En el catálogo LocalIA, 208 de 242 modelos funcionan cómodamente en una sola tarjeta.

Ver modelos compatibles →Rig con A40 ↗
VRAM
48GB
Categoría
Datacenter
Serie
Ampere DC
Vendor
NVIDIA

Modelos que funcionan cómodamente

Estos modelos caben en 48 GB con margen para contexto e inferencia estable.

★Mixtral 8x7Bmistral36.1 GBcómodoQ5 · / 48 GB
Falcon 40Bfalcon30.7 GBcómodoQ5 · / 48 GB
Command R 35Bcommand39.1 GBcómodoQ8 · / 48 GB
Aya 23 35Baya39.1 GBcómodoQ8 · / 48 GB
CodeLlama 34Bcodellama38.0 GBcómodoQ8 · / 48 GB
Yi 1.5 34Byi38.0 GBcómodoQ8 · / 48 GB
★dolphin 2.9.1 yi 1.5 34byi38.0 GBcómodoQ8 · / 48 GB
★Qwen 2.5 32Bqwen35.8 GBcómodoQ8 · / 48 GB
★Qwen 2.5 Coder 32Bqwen35.8 GBcómodoQ8 · / 48 GB
★Qwen 3 32Bqwen35.8 GBcómodoQ8 · / 48 GB
★QwQ 32Bqwq35.8 GBcómodoQ8 · / 48 GB
★DeepSeek R1 Distill 32Bdeepseek35.8 GBcómodoQ8 · / 48 GB
Qwen 2.5 VL 32Bqwen35.8 GBcómodoQ8 · / 48 GB
★Granite 4 H-Small 32B-A9Bgranite35.8 GBcómodoQ8 · / 48 GB
GLM-4.6glm35.8 GBcómodoQ8 · / 48 GB
★GLM-4.7glm35.8 GBcómodoQ8 · / 48 GB
★GLM-5glm35.8 GBcómodoQ8 · / 48 GB
★GLM-5.1glm35.8 GBcómodoQ8 · / 48 GB
★Qwen3 32Bqwen35.8 GBcómodoQ8 · / 48 GB
★Qwen2.5 Coder 32B Instructqwen35.8 GBcómodoQ8 · / 48 GB
★DeepSeek R1 Distill Qwen 32Bqwen35.8 GBcómodoQ8 · / 48 GB
★Qwen2.5 32B Instructqwen35.8 GBcómodoQ8 · / 48 GB
★Gemma 4 31Bgemma34.6 GBcómodoQ8 · / 48 GB
★Qwen 3 30B A3Bqwen33.5 GBcómodoQ8 · / 48 GB
MPT 30Bmpt33.5 GBcómodoQ8 · / 48 GB
★Qwen3 Coder 30B A3B Instructqwen33.5 GBcómodoQ8 · / 48 GB
★Qwen3 30B A3Bqwen33.5 GBcómodoQ8 · / 48 GB
★Qwen3 30B A3B Instruct 2507qwen33.5 GBcómodoQ8 · / 48 GB
★NVIDIA Nemotron 3 Nano 30B A3B BF16nemotron33.5 GBcómodoQ8 · / 48 GB
★Gemma 2 27Bgemma30.2 GBcómodoQ8 · / 48 GB

Modelos justos

Estos modelos caben por poco. Pueden funcionar, pero contexto y velocidad serán limitados.

★Qwen 2.5 72Bqwen45.3 GBjustoQ4 · / 48 GB
Qwen 2.5 VL 72Bqwen45.3 GBjustoQ4 · / 48 GB
★Qwen2.5 72B Instructqwen45.3 GBjustoQ4 · / 48 GB
Llama 2 70Bllama44.0 GBjustoQ4 · / 48 GB
Llama 3 70Bllama44.0 GBjustoQ4 · / 48 GB
Llama 3.1 70Bllama44.0 GBjustoQ4 · / 48 GB
★Llama 3.3 70Bllama44.0 GBjustoQ4 · / 48 GB
CodeLlama 70Bcodellama44.0 GBjustoQ4 · / 48 GB
★DeepSeek R1 Distill 70Bdeepseek44.0 GBjustoQ4 · / 48 GB
Hermes 3 70Bhermes44.0 GBjustoQ4 · / 48 GB
★Llama 3.1 Nemotron 70Bnemotron44.0 GBjustoQ4 · / 48 GB
Athene 70Bathene44.0 GBjustoQ4 · / 48 GB
★Llama 3.3 70B Instructllama44.0 GBjustoQ4 · / 48 GB
★Llama 3.1 70B Instructllama44.0 GBjustoQ4 · / 48 GB

Desbloqueados en rig 2x

Con dos tarjetas en paralelo (96 GB total), modelos más grandes son posibles.

Mixtral 8x22Bmistral88.6 GBjustoQ4 · / 96 GB
★Mistral Large 123Bmistral77.3 GBcómodoQ4 · / 96 GB
★NVIDIA Nemotron 3 Super 120B A12B BF16nemotron75.4 GBcómodoQ4 · / 96 GB
★Llama 4 Scout 17Bx16llama68.5 GBcómodoQ4 · / 96 GB
★Command R+ 104Bcommand79.9 GBcómodoQ5 · / 96 GB
★Qwen3 Next 80B A3B Instructqwen61.5 GBcómodoQ5 · / 96 GB

Desbloqueados en rig 4x

Configuración servidor (192 GB total) para los modelos open-weight más grandes.

DeepSeek V2deepseek148.4 GBcómodoQ4 · / 192 GB
DeepSeek Coder V2deepseek148.4 GBcómodoQ4 · / 192 GB
★Qwen 3 235B A22Bqwen147.7 GBcómodoQ4 · / 192 GB
★Qwen3 235B A22Bqwen147.7 GBcómodoQ4 · / 192 GB
Falcon 180Bfalcon138.3 GBcómodoQ5 · / 192 GB

GPUs similares

Estimaciones VRAM actualizadas 2026-05-12.