Rig konfigurieren →
NVIDIAConsumerRTX 30

RTX 3080 10GB für lokale KI

RTX 3080 10GB bietet 10 GB VRAM für lokale KI. Im LocalIA-Katalog laufen 153 von 242 Modellen komfortabel auf einer Karte.

Kompatible Modelle ansehen →Rig mit 10GB ↗
VRAM
10GB
Kategorie
Consumer
Serie
RTX 30
Vendor
NVIDIA

Modelle, die komfortabel laufen

Diese Modelle passen in 10 GB mit Reserve für Kontext und stabile Inferenz.

Llama 2 13Bllama8.2 GBkomfortabelQ4 · / 10 GB
CodeLlama 13Bcodellama8.2 GBkomfortabelQ4 · / 10 GB
OLMo 2 13Bolmo8.2 GBkomfortabelQ4 · / 10 GB
Vicuna 13Bvicuna8.2 GBkomfortabelQ4 · / 10 GB
★Mistral Nemo 12Bmistral7.5 GBkomfortabelQ4 · / 10 GB
★Gemma 3 12Bgemma7.5 GBkomfortabelQ4 · / 10 GB
StableLM 2 12Bstable7.5 GBkomfortabelQ4 · / 10 GB
Solar 10.7Bsolar8.2 GBkomfortabelQ5 · / 10 GB
Falcon 3 10Bfalcon7.7 GBkomfortabelQ5 · / 10 GB
★Gemma 2 9Bgemma6.9 GBkomfortabelQ5 · / 10 GB
Yi 1.5 9Byi6.9 GBkomfortabelQ5 · / 10 GB
★Qwen 3.5 9Bqwen6.9 GBkomfortabelQ5 · / 10 GB
★GLM-4 9Bglm6.9 GBkomfortabelQ5 · / 10 GB
★GLM-4.7 Flashglm6.9 GBkomfortabelQ5 · / 10 GB
GLM-4.1V 9B Thinkingglm6.9 GBkomfortabelQ5 · / 10 GB
★NVIDIA Nemotron Nano 9Bnemotron6.9 GBkomfortabelQ5 · / 10 GB
★gemma 2 9b itgemma6.9 GBkomfortabelQ5 · / 10 GB
Llama 3 8Bllama6.1 GBkomfortabelQ5 · / 10 GB
★Llama 3.1 8Bllama6.1 GBkomfortabelQ5 · / 10 GB
Ministral 8Bmistral6.1 GBkomfortabelQ5 · / 10 GB
★Qwen 3 8Bqwen6.1 GBkomfortabelQ5 · / 10 GB
DeepSeek R1 Distill 8Bdeepseek6.1 GBkomfortabelQ5 · / 10 GB
Aya 23 8Baya6.1 GBkomfortabelQ5 · / 10 GB
Granite 3 8Bgranite6.1 GBkomfortabelQ5 · / 10 GB
★Hermes 3 8Bhermes6.1 GBkomfortabelQ5 · / 10 GB
★DeepSeek R1 Distill Llama 8Bdeepseek6.1 GBkomfortabelQ5 · / 10 GB
★MiniCPM 4.1 8Bminicpm6.1 GBkomfortabelQ5 · / 10 GB
★Qwen3 8Bqwen6.1 GBkomfortabelQ5 · / 10 GB
★Llama 3.1 8B Instructllama6.1 GBkomfortabelQ5 · / 10 GB
★Meta Llama 3 8Bllama6.1 GBkomfortabelQ5 · / 10 GB

Knappe Modelle

Diese Modelle passen gerade so. Sie laufen, aber Kontext und Geschwindigkeit sind begrenzt.

StarCoder 2 15Bstarcoder9.4 GBknappQ4 · / 10 GB
★Phi-4 Reasoning Vision 15Bphi9.4 GBknappQ4 · / 10 GB
★Qwen 2.5 14Bqwen8.8 GBknappQ4 · / 10 GB
Qwen 2.5 Coder 14Bqwen8.8 GBknappQ4 · / 10 GB
★Qwen 3 14Bqwen8.8 GBknappQ4 · / 10 GB
★DeepSeek R1 Distill 14Bdeepseek8.8 GBknappQ4 · / 10 GB
Phi-3 Medium 14Bphi8.8 GBknappQ4 · / 10 GB
★Phi-4 14Bphi8.8 GBknappQ4 · / 10 GB
★GLM-4.5 Airglm8.8 GBknappQ4 · / 10 GB
★Qwen2.5 14B Instructqwen8.8 GBknappQ4 · / 10 GB
★Qwen3 14Bqwen8.8 GBknappQ4 · / 10 GB
★Qwen2.5 Coder 14B Instructqwen8.8 GBknappQ4 · / 10 GB
★DeepSeek R1 Distill Qwen 14Bqwen8.8 GBknappQ4 · / 10 GB

Freigeschaltet im 2x-Rig

Mit zwei Karten parallel (20 GB gesamt) werden größere Modelle erreichbar.

★Gemma 4 31Bgemma19.5 GBknappQ4 · / 20 GB
★Qwen 3 30B A3Bqwen18.9 GBknappQ4 · / 20 GB
MPT 30Bmpt18.9 GBknappQ4 · / 20 GB
★Qwen3 Coder 30B A3B Instructqwen18.9 GBknappQ4 · / 20 GB
★Qwen3 30B A3Bqwen18.9 GBknappQ4 · / 20 GB
★Qwen3 30B A3B Instruct 2507qwen18.9 GBknappQ4 · / 20 GB
★NVIDIA Nemotron 3 Nano 30B A3B BF16nemotron18.9 GBknappQ4 · / 20 GB
★Gemma 2 27Bgemma17.0 GBkomfortabelQ4 · / 20 GB
★Gemma 3 27Bgemma17.0 GBkomfortabelQ4 · / 20 GB
★Gemma 4 26B A4Bgemma16.3 GBkomfortabelQ4 · / 20 GB
★Mistral Small 3 24Bmistral15.1 GBkomfortabelQ4 · / 20 GB
★Mistral Small 3.1 24Bmistral15.1 GBkomfortabelQ4 · / 20 GB
★Mistral Small 3.2 24Bmistral15.1 GBkomfortabelQ4 · / 20 GB
★Devstral Small 2 24Bdevstral15.1 GBkomfortabelQ4 · / 20 GB
Mistral Small 22Bmistral16.9 GBkomfortabelQ5 · / 20 GB

Freigeschaltet im 4x-Rig

Server-Konfiguration (40 GB gesamt) für sehr große Open-Weight-Modelle.

★Mixtral 8x7Bmistral29.5 GBkomfortabelQ4 · / 40 GB
Falcon 40Bfalcon30.7 GBkomfortabelQ5 · / 40 GB
Command R 35Bcommand26.9 GBkomfortabelQ5 · / 40 GB
Aya 23 35Baya26.9 GBkomfortabelQ5 · / 40 GB
CodeLlama 34Bcodellama26.1 GBkomfortabelQ5 · / 40 GB
Yi 1.5 34Byi26.1 GBkomfortabelQ5 · / 40 GB
★dolphin 2.9.1 yi 1.5 34byi26.1 GBkomfortabelQ5 · / 40 GB
★Qwen 2.5 32Bqwen24.6 GBkomfortabelQ5 · / 40 GB
★Qwen 2.5 Coder 32Bqwen24.6 GBkomfortabelQ5 · / 40 GB
★Qwen 3 32Bqwen24.6 GBkomfortabelQ5 · / 40 GB

Ähnliche GPUs

VRAM-Schätzungen aktualisiert 2026-05-12.