Configurar un rig →
IntelDatacenterGaudi

Gaudi 3 para IA local

Gaudi 3 ofrece 128 GB de VRAM para IA local. En el catálogo LocalIA, 228 de 242 modelos funcionan cómodamente en una sola tarjeta.

Ver modelos compatibles →Rig con 3 ↗
VRAM
128GB
Categoría
Datacenter
Serie
Gaudi
Vendor
Intel

Modelos que funcionan cómodamente

Estos modelos caben en 128 GB con margen para contexto e inferencia estable.

Mixtral 8x22Bmistral108.3 GBcómodoQ5 · / 128 GB
★Mistral Large 123Bmistral94.5 GBcómodoQ5 · / 128 GB
★NVIDIA Nemotron 3 Super 120B A12B BF16nemotron92.2 GBcómodoQ5 · / 128 GB
★Llama 4 Scout 17Bx16llama83.7 GBcómodoQ5 · / 128 GB
★Command R+ 104Bcommand79.9 GBcómodoQ5 · / 128 GB
★Qwen3 Next 80B A3B Instructqwen89.4 GBcómodoQ8 · / 128 GB
★Qwen 2.5 72Bqwen80.5 GBcómodoQ8 · / 128 GB
Qwen 2.5 VL 72Bqwen80.5 GBcómodoQ8 · / 128 GB
★Qwen2.5 72B Instructqwen80.5 GBcómodoQ8 · / 128 GB
Llama 2 70Bllama78.2 GBcómodoQ8 · / 128 GB
Llama 3 70Bllama78.2 GBcómodoQ8 · / 128 GB
Llama 3.1 70Bllama78.2 GBcómodoQ8 · / 128 GB
★Llama 3.3 70Bllama78.2 GBcómodoQ8 · / 128 GB
CodeLlama 70Bcodellama78.2 GBcómodoQ8 · / 128 GB
★DeepSeek R1 Distill 70Bdeepseek78.2 GBcómodoQ8 · / 128 GB
Hermes 3 70Bhermes78.2 GBcómodoQ8 · / 128 GB
★Llama 3.1 Nemotron 70Bnemotron78.2 GBcómodoQ8 · / 128 GB
Athene 70Bathene78.2 GBcómodoQ8 · / 128 GB
★Llama 3.3 70B Instructllama78.2 GBcómodoQ8 · / 128 GB
★Llama 3.1 70B Instructllama78.2 GBcómodoQ8 · / 128 GB
★Mixtral 8x7Bmistral105.1 GBcómodoFP16 · / 128 GB
Falcon 40Bfalcon89.4 GBcómodoFP16 · / 128 GB
Command R 35Bcommand78.2 GBcómodoFP16 · / 128 GB
Aya 23 35Baya78.2 GBcómodoFP16 · / 128 GB
CodeLlama 34Bcodellama76.0 GBcómodoFP16 · / 128 GB
Yi 1.5 34Byi76.0 GBcómodoFP16 · / 128 GB
★dolphin 2.9.1 yi 1.5 34byi76.0 GBcómodoFP16 · / 128 GB
★Qwen 2.5 32Bqwen71.5 GBcómodoFP16 · / 128 GB
★Qwen 2.5 Coder 32Bqwen71.5 GBcómodoFP16 · / 128 GB
★Qwen 3 32Bqwen71.5 GBcómodoFP16 · / 128 GB

Modelos justos

Estos modelos caben por poco. Pueden funcionar, pero contexto y velocidad serán limitados.

Falcon 180Bfalcon113.2 GBjustoQ4 · / 128 GB

Desbloqueados en rig 2x

Con dos tarjetas en paralelo (256 GB total), modelos más grandes son posibles.

★Llama 3.1 405Bllama254.6 GBjustoQ4 · / 256 GB
Hermes 3 405Bhermes254.6 GBjustoQ4 · / 256 GB
★Llama 4 Maverick 17Bx128llama251.5 GBjustoQ4 · / 256 GB
Nemotron 340Bnemotron213.7 GBcómodoQ4 · / 256 GB
DeepSeek V2deepseek181.3 GBcómodoQ5 · / 256 GB
DeepSeek Coder V2deepseek181.3 GBcómodoQ5 · / 256 GB
★Qwen 3 235B A22Bqwen180.6 GBcómodoQ5 · / 256 GB
★Qwen3 235B A22Bqwen180.6 GBcómodoQ5 · / 256 GB

Desbloqueados en rig 4x

Configuración servidor (512 GB total) para los modelos open-weight más grandes.

★DeepSeek V3.2deepseek430.6 GBcómodoQ4 · / 512 GB
★DeepSeek V4 Prodeepseek430.6 GBcómodoQ4 · / 512 GB
★DeepSeek R1deepseek421.8 GBcómodoQ4 · / 512 GB
★DeepSeek V3deepseek421.8 GBcómodoQ4 · / 512 GB
★DeepSeek R1 (0528 snapshot)deepseek421.8 GBcómodoQ4 · / 512 GB

GPUs similares

Estimaciones VRAM actualizadas 2026-05-12.