Rig konfigurieren →
NVIDIAWorkstationRTX A (Ampere)

RTX A4500 für lokale KI

RTX A4500 bietet 20 GB VRAM für lokale KI. Im LocalIA-Katalog laufen 179 von 242 Modellen komfortabel auf einer Karte.

Kompatible Modelle ansehen →Rig mit A4500 ↗
VRAM
20GB
Kategorie
Workstation
Serie
RTX A (Ampere)
Vendor
NVIDIA

Modelle, die komfortabel laufen

Diese Modelle passen in 20 GB mit Reserve für Kontext und stabile Inferenz.

★Gemma 2 27Bgemma17.0 GBkomfortabelQ4 · / 20 GB
★Gemma 3 27Bgemma17.0 GBkomfortabelQ4 · / 20 GB
★Gemma 4 26B A4Bgemma16.3 GBkomfortabelQ4 · / 20 GB
★Mistral Small 3 24Bmistral15.1 GBkomfortabelQ4 · / 20 GB
★Mistral Small 3.1 24Bmistral15.1 GBkomfortabelQ4 · / 20 GB
★Mistral Small 3.2 24Bmistral15.1 GBkomfortabelQ4 · / 20 GB
★Devstral Small 2 24Bdevstral15.1 GBkomfortabelQ4 · / 20 GB
Mistral Small 22Bmistral16.9 GBkomfortabelQ5 · / 20 GB
★Codestral 22Bcodestral16.9 GBkomfortabelQ5 · / 20 GB
Reka Flash 3 21Breka16.1 GBkomfortabelQ5 · / 20 GB
InternLM 2.5 20Binternlm15.4 GBkomfortabelQ5 · / 20 GB
DeepSeek V2 Litedeepseek12.3 GBkomfortabelQ5 · / 20 GB
DeepSeek Coder V2 Litedeepseek12.3 GBkomfortabelQ5 · / 20 GB
StarCoder 2 15Bstarcoder16.8 GBkomfortabelQ8 · / 20 GB
★Phi-4 Reasoning Vision 15Bphi16.8 GBkomfortabelQ8 · / 20 GB
★Qwen 2.5 14Bqwen15.6 GBkomfortabelQ8 · / 20 GB
Qwen 2.5 Coder 14Bqwen15.6 GBkomfortabelQ8 · / 20 GB
★Qwen 3 14Bqwen15.6 GBkomfortabelQ8 · / 20 GB
★DeepSeek R1 Distill 14Bdeepseek15.6 GBkomfortabelQ8 · / 20 GB
Phi-3 Medium 14Bphi15.6 GBkomfortabelQ8 · / 20 GB
★Phi-4 14Bphi15.6 GBkomfortabelQ8 · / 20 GB
★GLM-4.5 Airglm15.6 GBkomfortabelQ8 · / 20 GB
★Qwen2.5 14B Instructqwen15.6 GBkomfortabelQ8 · / 20 GB
★Qwen3 14Bqwen15.6 GBkomfortabelQ8 · / 20 GB
★Qwen2.5 Coder 14B Instructqwen15.6 GBkomfortabelQ8 · / 20 GB
★DeepSeek R1 Distill Qwen 14Bqwen15.6 GBkomfortabelQ8 · / 20 GB
Llama 2 13Bllama14.5 GBkomfortabelQ8 · / 20 GB
CodeLlama 13Bcodellama14.5 GBkomfortabelQ8 · / 20 GB
OLMo 2 13Bolmo14.5 GBkomfortabelQ8 · / 20 GB
Vicuna 13Bvicuna14.5 GBkomfortabelQ8 · / 20 GB

Knappe Modelle

Diese Modelle passen gerade so. Sie laufen, aber Kontext und Geschwindigkeit sind begrenzt.

★Gemma 4 31Bgemma19.5 GBknappQ4 · / 20 GB
★Qwen 3 30B A3Bqwen18.9 GBknappQ4 · / 20 GB
MPT 30Bmpt18.9 GBknappQ4 · / 20 GB
★Qwen3 Coder 30B A3B Instructqwen18.9 GBknappQ4 · / 20 GB
★Qwen3 30B A3Bqwen18.9 GBknappQ4 · / 20 GB
★Qwen3 30B A3B Instruct 2507qwen18.9 GBknappQ4 · / 20 GB
★NVIDIA Nemotron 3 Nano 30B A3B BF16nemotron18.9 GBknappQ4 · / 20 GB

Freigeschaltet im 2x-Rig

Mit zwei Karten parallel (40 GB gesamt) werden größere Modelle erreichbar.

★Mixtral 8x7Bmistral29.5 GBkomfortabelQ4 · / 40 GB
Falcon 40Bfalcon30.7 GBkomfortabelQ5 · / 40 GB
Command R 35Bcommand26.9 GBkomfortabelQ5 · / 40 GB
Aya 23 35Baya26.9 GBkomfortabelQ5 · / 40 GB
CodeLlama 34Bcodellama26.1 GBkomfortabelQ5 · / 40 GB
Yi 1.5 34Byi26.1 GBkomfortabelQ5 · / 40 GB
★dolphin 2.9.1 yi 1.5 34byi26.1 GBkomfortabelQ5 · / 40 GB
★Qwen 2.5 32Bqwen24.6 GBkomfortabelQ5 · / 40 GB
★Qwen 2.5 Coder 32Bqwen24.6 GBkomfortabelQ5 · / 40 GB
★Qwen 3 32Bqwen24.6 GBkomfortabelQ5 · / 40 GB
★QwQ 32Bqwq24.6 GBkomfortabelQ5 · / 40 GB
★DeepSeek R1 Distill 32Bdeepseek24.6 GBkomfortabelQ5 · / 40 GB
Qwen 2.5 VL 32Bqwen24.6 GBkomfortabelQ5 · / 40 GB
★Granite 4 H-Small 32B-A9Bgranite24.6 GBkomfortabelQ5 · / 40 GB
GLM-4.6glm24.6 GBkomfortabelQ5 · / 40 GB

Freigeschaltet im 4x-Rig

Server-Konfiguration (80 GB gesamt) für sehr große Open-Weight-Modelle.

★Mistral Large 123Bmistral77.3 GBknappQ4 · / 80 GB
★NVIDIA Nemotron 3 Super 120B A12B BF16nemotron75.4 GBknappQ4 · / 80 GB
★Llama 4 Scout 17Bx16llama68.5 GBknappQ4 · / 80 GB
★Command R+ 104Bcommand65.4 GBkomfortabelQ4 · / 80 GB
★Qwen3 Next 80B A3B Instructqwen61.5 GBkomfortabelQ5 · / 80 GB
★Qwen 2.5 72Bqwen55.3 GBkomfortabelQ5 · / 80 GB
Qwen 2.5 VL 72Bqwen55.3 GBkomfortabelQ5 · / 80 GB
★Qwen2.5 72B Instructqwen55.3 GBkomfortabelQ5 · / 80 GB
Llama 2 70Bllama53.8 GBkomfortabelQ5 · / 80 GB
Llama 3 70Bllama53.8 GBkomfortabelQ5 · / 80 GB

Ähnliche GPUs

VRAM-Schätzungen aktualisiert 2026-05-12.