Rig konfigurieren →
NVIDIAConsumerRTX 50

RTX 5090 für lokale KI

RTX 5090 bietet 32 GB VRAM für lokale KI. Im LocalIA-Katalog laufen 207 von 242 Modellen komfortabel auf einer Karte.

Kompatible Modelle ansehen →Rig mit 5090 ↗
VRAM
32GB
Kategorie
Consumer
Serie
RTX 50
Vendor
NVIDIA

Modelle, die komfortabel laufen

Diese Modelle passen in 32 GB mit Reserve für Kontext und stabile Inferenz.

Falcon 40Bfalcon25.1 GBkomfortabelQ4 · / 32 GB
Command R 35Bcommand26.9 GBkomfortabelQ5 · / 32 GB
Aya 23 35Baya26.9 GBkomfortabelQ5 · / 32 GB
CodeLlama 34Bcodellama26.1 GBkomfortabelQ5 · / 32 GB
Yi 1.5 34Byi26.1 GBkomfortabelQ5 · / 32 GB
★dolphin 2.9.1 yi 1.5 34byi26.1 GBkomfortabelQ5 · / 32 GB
★Qwen 2.5 32Bqwen24.6 GBkomfortabelQ5 · / 32 GB
★Qwen 2.5 Coder 32Bqwen24.6 GBkomfortabelQ5 · / 32 GB
★Qwen 3 32Bqwen24.6 GBkomfortabelQ5 · / 32 GB
★QwQ 32Bqwq24.6 GBkomfortabelQ5 · / 32 GB
★DeepSeek R1 Distill 32Bdeepseek24.6 GBkomfortabelQ5 · / 32 GB
Qwen 2.5 VL 32Bqwen24.6 GBkomfortabelQ5 · / 32 GB
★Granite 4 H-Small 32B-A9Bgranite24.6 GBkomfortabelQ5 · / 32 GB
GLM-4.6glm24.6 GBkomfortabelQ5 · / 32 GB
★GLM-4.7glm24.6 GBkomfortabelQ5 · / 32 GB
★GLM-5glm24.6 GBkomfortabelQ5 · / 32 GB
★GLM-5.1glm24.6 GBkomfortabelQ5 · / 32 GB
★Qwen3 32Bqwen24.6 GBkomfortabelQ5 · / 32 GB
★Qwen2.5 Coder 32B Instructqwen24.6 GBkomfortabelQ5 · / 32 GB
★DeepSeek R1 Distill Qwen 32Bqwen24.6 GBkomfortabelQ5 · / 32 GB
★Qwen2.5 32B Instructqwen24.6 GBkomfortabelQ5 · / 32 GB
★Gemma 4 31Bgemma23.8 GBkomfortabelQ5 · / 32 GB
★Qwen 3 30B A3Bqwen23.1 GBkomfortabelQ5 · / 32 GB
MPT 30Bmpt23.1 GBkomfortabelQ5 · / 32 GB
★Qwen3 Coder 30B A3B Instructqwen23.1 GBkomfortabelQ5 · / 32 GB
★Qwen3 30B A3Bqwen23.1 GBkomfortabelQ5 · / 32 GB
★Qwen3 30B A3B Instruct 2507qwen23.1 GBkomfortabelQ5 · / 32 GB
★NVIDIA Nemotron 3 Nano 30B A3B BF16nemotron23.1 GBkomfortabelQ5 · / 32 GB
★Gemma 2 27Bgemma20.7 GBkomfortabelQ5 · / 32 GB
★Gemma 3 27Bgemma20.7 GBkomfortabelQ5 · / 32 GB

Knappe Modelle

Diese Modelle passen gerade so. Sie laufen, aber Kontext und Geschwindigkeit sind begrenzt.

★Mixtral 8x7Bmistral29.5 GBknappQ4 · / 32 GB

Freigeschaltet im 2x-Rig

Mit zwei Karten parallel (64 GB gesamt) werden größere Modelle erreichbar.

★Qwen3 Next 80B A3B Instructqwen50.3 GBkomfortabelQ4 · / 64 GB
★Qwen 2.5 72Bqwen45.3 GBkomfortabelQ4 · / 64 GB
Qwen 2.5 VL 72Bqwen45.3 GBkomfortabelQ4 · / 64 GB
★Qwen2.5 72B Instructqwen45.3 GBkomfortabelQ4 · / 64 GB
Llama 2 70Bllama53.8 GBkomfortabelQ5 · / 64 GB
Llama 3 70Bllama53.8 GBkomfortabelQ5 · / 64 GB
Llama 3.1 70Bllama53.8 GBkomfortabelQ5 · / 64 GB
★Llama 3.3 70Bllama53.8 GBkomfortabelQ5 · / 64 GB
CodeLlama 70Bcodellama53.8 GBkomfortabelQ5 · / 64 GB
★DeepSeek R1 Distill 70Bdeepseek53.8 GBkomfortabelQ5 · / 64 GB
Hermes 3 70Bhermes53.8 GBkomfortabelQ5 · / 64 GB
★Llama 3.1 Nemotron 70Bnemotron53.8 GBkomfortabelQ5 · / 64 GB
Athene 70Bathene53.8 GBkomfortabelQ5 · / 64 GB
★Llama 3.3 70B Instructllama53.8 GBkomfortabelQ5 · / 64 GB
★Llama 3.1 70B Instructllama53.8 GBkomfortabelQ5 · / 64 GB

Freigeschaltet im 4x-Rig

Server-Konfiguration (128 GB gesamt) für sehr große Open-Weight-Modelle.

Falcon 180Bfalcon113.2 GBknappQ4 · / 128 GB
Mixtral 8x22Bmistral108.3 GBkomfortabelQ5 · / 128 GB
★Mistral Large 123Bmistral94.5 GBkomfortabelQ5 · / 128 GB
★NVIDIA Nemotron 3 Super 120B A12B BF16nemotron92.2 GBkomfortabelQ5 · / 128 GB
★Llama 4 Scout 17Bx16llama83.7 GBkomfortabelQ5 · / 128 GB
★Command R+ 104Bcommand79.9 GBkomfortabelQ5 · / 128 GB

Ähnliche GPUs

VRAM-Schätzungen aktualisiert 2026-05-12.