Rig konfigurieren →
NVIDIADatacenterAmpere DC

NVIDIA A100 80GB für lokale KI

NVIDIA A100 80GB bietet 80 GB VRAM für lokale KI. Im LocalIA-Katalog laufen 224 von 242 Modellen komfortabel auf einer Karte.

Kompatible Modelle ansehen →Rig mit 80GB ↗
VRAM
80GB
Kategorie
Datacenter
Serie
Ampere DC
Vendor
NVIDIA

Modelle, die komfortabel laufen

Diese Modelle passen in 80 GB mit Reserve für Kontext und stabile Inferenz.

★Command R+ 104Bcommand65.4 GBkomfortabelQ4 · / 80 GB
★Qwen3 Next 80B A3B Instructqwen61.5 GBkomfortabelQ5 · / 80 GB
★Qwen 2.5 72Bqwen55.3 GBkomfortabelQ5 · / 80 GB
Qwen 2.5 VL 72Bqwen55.3 GBkomfortabelQ5 · / 80 GB
★Qwen2.5 72B Instructqwen55.3 GBkomfortabelQ5 · / 80 GB
Llama 2 70Bllama53.8 GBkomfortabelQ5 · / 80 GB
Llama 3 70Bllama53.8 GBkomfortabelQ5 · / 80 GB
Llama 3.1 70Bllama53.8 GBkomfortabelQ5 · / 80 GB
★Llama 3.3 70Bllama53.8 GBkomfortabelQ5 · / 80 GB
CodeLlama 70Bcodellama53.8 GBkomfortabelQ5 · / 80 GB
★DeepSeek R1 Distill 70Bdeepseek53.8 GBkomfortabelQ5 · / 80 GB
Hermes 3 70Bhermes53.8 GBkomfortabelQ5 · / 80 GB
★Llama 3.1 Nemotron 70Bnemotron53.8 GBkomfortabelQ5 · / 80 GB
Athene 70Bathene53.8 GBkomfortabelQ5 · / 80 GB
★Llama 3.3 70B Instructllama53.8 GBkomfortabelQ5 · / 80 GB
★Llama 3.1 70B Instructllama53.8 GBkomfortabelQ5 · / 80 GB
★Mixtral 8x7Bmistral52.5 GBkomfortabelQ8 · / 80 GB
Falcon 40Bfalcon44.7 GBkomfortabelQ8 · / 80 GB
Command R 35Bcommand39.1 GBkomfortabelQ8 · / 80 GB
Aya 23 35Baya39.1 GBkomfortabelQ8 · / 80 GB
CodeLlama 34Bcodellama38.0 GBkomfortabelQ8 · / 80 GB
Yi 1.5 34Byi38.0 GBkomfortabelQ8 · / 80 GB
★dolphin 2.9.1 yi 1.5 34byi38.0 GBkomfortabelQ8 · / 80 GB
★Qwen 2.5 32Bqwen35.8 GBkomfortabelQ8 · / 80 GB
★Qwen 2.5 Coder 32Bqwen35.8 GBkomfortabelQ8 · / 80 GB
★Qwen 3 32Bqwen35.8 GBkomfortabelQ8 · / 80 GB
★QwQ 32Bqwq35.8 GBkomfortabelQ8 · / 80 GB
★DeepSeek R1 Distill 32Bdeepseek35.8 GBkomfortabelQ8 · / 80 GB
Qwen 2.5 VL 32Bqwen35.8 GBkomfortabelQ8 · / 80 GB
★Granite 4 H-Small 32B-A9Bgranite35.8 GBkomfortabelQ8 · / 80 GB

Knappe Modelle

Diese Modelle passen gerade so. Sie laufen, aber Kontext und Geschwindigkeit sind begrenzt.

★Mistral Large 123Bmistral77.3 GBknappQ4 · / 80 GB
★NVIDIA Nemotron 3 Super 120B A12B BF16nemotron75.4 GBknappQ4 · / 80 GB
★Llama 4 Scout 17Bx16llama68.5 GBknappQ4 · / 80 GB

Freigeschaltet im 2x-Rig

Mit zwei Karten parallel (160 GB gesamt) werden größere Modelle erreichbar.

DeepSeek V2deepseek148.4 GBknappQ4 · / 160 GB
DeepSeek Coder V2deepseek148.4 GBknappQ4 · / 160 GB
★Qwen 3 235B A22Bqwen147.7 GBknappQ4 · / 160 GB
★Qwen3 235B A22Bqwen147.7 GBknappQ4 · / 160 GB
Falcon 180Bfalcon113.2 GBkomfortabelQ4 · / 160 GB
Mixtral 8x22Bmistral108.3 GBkomfortabelQ5 · / 160 GB

Freigeschaltet im 4x-Rig

Server-Konfiguration (320 GB gesamt) für sehr große Open-Weight-Modelle.

★Llama 3.1 405Bllama254.6 GBkomfortabelQ4 · / 320 GB
Hermes 3 405Bhermes254.6 GBkomfortabelQ4 · / 320 GB
★Llama 4 Maverick 17Bx128llama251.5 GBkomfortabelQ4 · / 320 GB
Nemotron 340Bnemotron261.2 GBkomfortabelQ5 · / 320 GB

Ähnliche GPUs

VRAM-Schätzungen aktualisiert 2026-05-12.