Configura un rig →
NVIDIAConsumerRTX 40

RTX 4090 per IA locale

RTX 4090 offre 24 GB di VRAM per IA locale. Nel catalogo LocalIA, 201 modelli su 242 girano comodamente su una sola scheda.

Vedi modelli compatibili →Rig con 4090 ↗
VRAM
24GB
Categoria
Consumer
Serie
RTX 40
Vendor
NVIDIA

Modelli che girano comodamente

Questi modelli entrano in 24 GB con margine per contesto e inferenza stabile.

★Qwen 2.5 32Bqwen20.1 GBcomodoQ4 · / 24 GB
★Qwen 2.5 Coder 32Bqwen20.1 GBcomodoQ4 · / 24 GB
★Qwen 3 32Bqwen20.1 GBcomodoQ4 · / 24 GB
★QwQ 32Bqwq20.1 GBcomodoQ4 · / 24 GB
★DeepSeek R1 Distill 32Bdeepseek20.1 GBcomodoQ4 · / 24 GB
Qwen 2.5 VL 32Bqwen20.1 GBcomodoQ4 · / 24 GB
★Granite 4 H-Small 32B-A9Bgranite20.1 GBcomodoQ4 · / 24 GB
GLM-4.6glm20.1 GBcomodoQ4 · / 24 GB
★GLM-4.7glm20.1 GBcomodoQ4 · / 24 GB
★GLM-5glm20.1 GBcomodoQ4 · / 24 GB
★GLM-5.1glm20.1 GBcomodoQ4 · / 24 GB
★Qwen3 32Bqwen20.1 GBcomodoQ4 · / 24 GB
★Qwen2.5 Coder 32B Instructqwen20.1 GBcomodoQ4 · / 24 GB
★DeepSeek R1 Distill Qwen 32Bqwen20.1 GBcomodoQ4 · / 24 GB
★Qwen2.5 32B Instructqwen20.1 GBcomodoQ4 · / 24 GB
★Gemma 4 31Bgemma19.5 GBcomodoQ4 · / 24 GB
★Qwen 3 30B A3Bqwen18.9 GBcomodoQ4 · / 24 GB
MPT 30Bmpt18.9 GBcomodoQ4 · / 24 GB
★Qwen3 Coder 30B A3B Instructqwen18.9 GBcomodoQ4 · / 24 GB
★Qwen3 30B A3Bqwen18.9 GBcomodoQ4 · / 24 GB
★Qwen3 30B A3B Instruct 2507qwen18.9 GBcomodoQ4 · / 24 GB
★NVIDIA Nemotron 3 Nano 30B A3B BF16nemotron18.9 GBcomodoQ4 · / 24 GB
★Gemma 2 27Bgemma17.0 GBcomodoQ4 · / 24 GB
★Gemma 3 27Bgemma17.0 GBcomodoQ4 · / 24 GB
★Gemma 4 26B A4Bgemma20.0 GBcomodoQ5 · / 24 GB
★Mistral Small 3 24Bmistral18.4 GBcomodoQ5 · / 24 GB
★Mistral Small 3.1 24Bmistral18.4 GBcomodoQ5 · / 24 GB
★Mistral Small 3.2 24Bmistral18.4 GBcomodoQ5 · / 24 GB
★Devstral Small 2 24Bdevstral18.4 GBcomodoQ5 · / 24 GB
Mistral Small 22Bmistral16.9 GBcomodoQ5 · / 24 GB

Modelli stretti

Questi modelli entrano appena. Possono girare, ma contesto e velocità saranno limitati.

Command R 35Bcommand22.0 GBstrettoQ4 · / 24 GB
Aya 23 35Baya22.0 GBstrettoQ4 · / 24 GB
CodeLlama 34Bcodellama21.4 GBstrettoQ4 · / 24 GB
Yi 1.5 34Byi21.4 GBstrettoQ4 · / 24 GB
★dolphin 2.9.1 yi 1.5 34byi21.4 GBstrettoQ4 · / 24 GB

Sbloccati in rig 2x

Con due schede in parallelo (48 GB totali), modelli più grandi diventano accessibili.

★Qwen 2.5 72Bqwen45.3 GBstrettoQ4 · / 48 GB
Qwen 2.5 VL 72Bqwen45.3 GBstrettoQ4 · / 48 GB
★Qwen2.5 72B Instructqwen45.3 GBstrettoQ4 · / 48 GB
Llama 2 70Bllama44.0 GBstrettoQ4 · / 48 GB
Llama 3 70Bllama44.0 GBstrettoQ4 · / 48 GB
Llama 3.1 70Bllama44.0 GBstrettoQ4 · / 48 GB
★Llama 3.3 70Bllama44.0 GBstrettoQ4 · / 48 GB
CodeLlama 70Bcodellama44.0 GBstrettoQ4 · / 48 GB
★DeepSeek R1 Distill 70Bdeepseek44.0 GBstrettoQ4 · / 48 GB
Hermes 3 70Bhermes44.0 GBstrettoQ4 · / 48 GB
★Llama 3.1 Nemotron 70Bnemotron44.0 GBstrettoQ4 · / 48 GB
Athene 70Bathene44.0 GBstrettoQ4 · / 48 GB
★Llama 3.3 70B Instructllama44.0 GBstrettoQ4 · / 48 GB
★Llama 3.1 70B Instructllama44.0 GBstrettoQ4 · / 48 GB
★Mixtral 8x7Bmistral36.1 GBcomodoQ5 · / 48 GB

Sbloccati in rig 4x

Configurazione server (96 GB totali) per i modelli open-weight più grandi.

Mixtral 8x22Bmistral88.6 GBstrettoQ4 · / 96 GB
★Mistral Large 123Bmistral77.3 GBcomodoQ4 · / 96 GB
★NVIDIA Nemotron 3 Super 120B A12B BF16nemotron75.4 GBcomodoQ4 · / 96 GB
★Llama 4 Scout 17Bx16llama68.5 GBcomodoQ4 · / 96 GB
★Command R+ 104Bcommand79.9 GBcomodoQ5 · / 96 GB
★Qwen3 Next 80B A3B Instructqwen61.5 GBcomodoQ5 · / 96 GB

GPU simili

Stime VRAM aggiornate 2026-05-12.