Rig configureren →
NVIDIADatacenterAmpere DC

NVIDIA A100 40GB voor lokale AI

NVIDIA A100 40GB biedt 40 GB VRAM voor lokale AI. In de LocalIA-catalogus draaien 208 van 242 modellen comfortabel op één kaart.

Bekijk compatibele modellen →Rig met 40GB ↗
VRAM
40GB
Categorie
Datacenter
Serie
Ampere DC
Vendor
NVIDIA

Modellen die comfortabel draaien

Deze modellen passen in 40 GB met marge voor context en stabiele inference.

★Mixtral 8x7Bmistral29.5 GBcomfortabelQ4 · / 40 GB
Falcon 40Bfalcon30.7 GBcomfortabelQ5 · / 40 GB
Command R 35Bcommand26.9 GBcomfortabelQ5 · / 40 GB
Aya 23 35Baya26.9 GBcomfortabelQ5 · / 40 GB
CodeLlama 34Bcodellama26.1 GBcomfortabelQ5 · / 40 GB
Yi 1.5 34Byi26.1 GBcomfortabelQ5 · / 40 GB
★dolphin 2.9.1 yi 1.5 34byi26.1 GBcomfortabelQ5 · / 40 GB
★Qwen 2.5 32Bqwen24.6 GBcomfortabelQ5 · / 40 GB
★Qwen 2.5 Coder 32Bqwen24.6 GBcomfortabelQ5 · / 40 GB
★Qwen 3 32Bqwen24.6 GBcomfortabelQ5 · / 40 GB
★QwQ 32Bqwq24.6 GBcomfortabelQ5 · / 40 GB
★DeepSeek R1 Distill 32Bdeepseek24.6 GBcomfortabelQ5 · / 40 GB
Qwen 2.5 VL 32Bqwen24.6 GBcomfortabelQ5 · / 40 GB
★Granite 4 H-Small 32B-A9Bgranite24.6 GBcomfortabelQ5 · / 40 GB
GLM-4.6glm24.6 GBcomfortabelQ5 · / 40 GB
★GLM-4.7glm24.6 GBcomfortabelQ5 · / 40 GB
★GLM-5glm24.6 GBcomfortabelQ5 · / 40 GB
★GLM-5.1glm24.6 GBcomfortabelQ5 · / 40 GB
★Qwen3 32Bqwen24.6 GBcomfortabelQ5 · / 40 GB
★Qwen2.5 Coder 32B Instructqwen24.6 GBcomfortabelQ5 · / 40 GB
★DeepSeek R1 Distill Qwen 32Bqwen24.6 GBcomfortabelQ5 · / 40 GB
★Qwen2.5 32B Instructqwen24.6 GBcomfortabelQ5 · / 40 GB
★Gemma 4 31Bgemma23.8 GBcomfortabelQ5 · / 40 GB
★Qwen 3 30B A3Bqwen33.5 GBcomfortabelQ8 · / 40 GB
MPT 30Bmpt33.5 GBcomfortabelQ8 · / 40 GB
★Qwen3 Coder 30B A3B Instructqwen33.5 GBcomfortabelQ8 · / 40 GB
★Qwen3 30B A3Bqwen33.5 GBcomfortabelQ8 · / 40 GB
★Qwen3 30B A3B Instruct 2507qwen33.5 GBcomfortabelQ8 · / 40 GB
★NVIDIA Nemotron 3 Nano 30B A3B BF16nemotron33.5 GBcomfortabelQ8 · / 40 GB
★Gemma 2 27Bgemma30.2 GBcomfortabelQ8 · / 40 GB

Vrijgespeeld in 2x-rig

Met twee kaarten parallel (80 GB totaal) worden grotere modellen bereikbaar.

★Mistral Large 123Bmistral77.3 GBkrapQ4 · / 80 GB
★NVIDIA Nemotron 3 Super 120B A12B BF16nemotron75.4 GBkrapQ4 · / 80 GB
★Llama 4 Scout 17Bx16llama68.5 GBkrapQ4 · / 80 GB
★Command R+ 104Bcommand65.4 GBcomfortabelQ4 · / 80 GB
★Qwen3 Next 80B A3B Instructqwen61.5 GBcomfortabelQ5 · / 80 GB
★Qwen 2.5 72Bqwen55.3 GBcomfortabelQ5 · / 80 GB
Qwen 2.5 VL 72Bqwen55.3 GBcomfortabelQ5 · / 80 GB
★Qwen2.5 72B Instructqwen55.3 GBcomfortabelQ5 · / 80 GB
Llama 2 70Bllama53.8 GBcomfortabelQ5 · / 80 GB
Llama 3 70Bllama53.8 GBcomfortabelQ5 · / 80 GB
Llama 3.1 70Bllama53.8 GBcomfortabelQ5 · / 80 GB
★Llama 3.3 70Bllama53.8 GBcomfortabelQ5 · / 80 GB
CodeLlama 70Bcodellama53.8 GBcomfortabelQ5 · / 80 GB
★DeepSeek R1 Distill 70Bdeepseek53.8 GBcomfortabelQ5 · / 80 GB
Hermes 3 70Bhermes53.8 GBcomfortabelQ5 · / 80 GB

Vrijgespeeld in 4x-rig

Serverconfiguratie (160 GB totaal) voor de grootste open-weight modellen.

DeepSeek V2deepseek148.4 GBkrapQ4 · / 160 GB
DeepSeek Coder V2deepseek148.4 GBkrapQ4 · / 160 GB
★Qwen 3 235B A22Bqwen147.7 GBkrapQ4 · / 160 GB
★Qwen3 235B A22Bqwen147.7 GBkrapQ4 · / 160 GB
Falcon 180Bfalcon113.2 GBcomfortabelQ4 · / 160 GB
Mixtral 8x22Bmistral108.3 GBcomfortabelQ5 · / 160 GB

Vergelijkbare GPUs

VRAM-schattingen bijgewerkt 2026-05-12.