Rig configureren →
IntelDatacenterGaudi

Gaudi 2 voor lokale AI

Gaudi 2 biedt 96 GB VRAM voor lokale AI. In de LocalIA-catalogus draaien 227 van 242 modellen comfortabel op één kaart.

Bekijk compatibele modellen →Rig met 2 ↗
VRAM
96GB
Categorie
Datacenter
Serie
Gaudi
Vendor
Intel

Modellen die comfortabel draaien

Deze modellen passen in 96 GB met marge voor context en stabiele inference.

★Mistral Large 123Bmistral77.3 GBcomfortabelQ4 · / 96 GB
★NVIDIA Nemotron 3 Super 120B A12B BF16nemotron75.4 GBcomfortabelQ4 · / 96 GB
★Llama 4 Scout 17Bx16llama68.5 GBcomfortabelQ4 · / 96 GB
★Command R+ 104Bcommand79.9 GBcomfortabelQ5 · / 96 GB
★Qwen3 Next 80B A3B Instructqwen61.5 GBcomfortabelQ5 · / 96 GB
★Qwen 2.5 72Bqwen80.5 GBcomfortabelQ8 · / 96 GB
Qwen 2.5 VL 72Bqwen80.5 GBcomfortabelQ8 · / 96 GB
★Qwen2.5 72B Instructqwen80.5 GBcomfortabelQ8 · / 96 GB
Llama 2 70Bllama78.2 GBcomfortabelQ8 · / 96 GB
Llama 3 70Bllama78.2 GBcomfortabelQ8 · / 96 GB
Llama 3.1 70Bllama78.2 GBcomfortabelQ8 · / 96 GB
★Llama 3.3 70Bllama78.2 GBcomfortabelQ8 · / 96 GB
CodeLlama 70Bcodellama78.2 GBcomfortabelQ8 · / 96 GB
★DeepSeek R1 Distill 70Bdeepseek78.2 GBcomfortabelQ8 · / 96 GB
Hermes 3 70Bhermes78.2 GBcomfortabelQ8 · / 96 GB
★Llama 3.1 Nemotron 70Bnemotron78.2 GBcomfortabelQ8 · / 96 GB
Athene 70Bathene78.2 GBcomfortabelQ8 · / 96 GB
★Llama 3.3 70B Instructllama78.2 GBcomfortabelQ8 · / 96 GB
★Llama 3.1 70B Instructllama78.2 GBcomfortabelQ8 · / 96 GB
★Mixtral 8x7Bmistral52.5 GBcomfortabelQ8 · / 96 GB
Falcon 40Bfalcon44.7 GBcomfortabelQ8 · / 96 GB
Command R 35Bcommand78.2 GBcomfortabelFP16 · / 96 GB
Aya 23 35Baya78.2 GBcomfortabelFP16 · / 96 GB
CodeLlama 34Bcodellama76.0 GBcomfortabelFP16 · / 96 GB
Yi 1.5 34Byi76.0 GBcomfortabelFP16 · / 96 GB
★dolphin 2.9.1 yi 1.5 34byi76.0 GBcomfortabelFP16 · / 96 GB
★Qwen 2.5 32Bqwen71.5 GBcomfortabelFP16 · / 96 GB
★Qwen 2.5 Coder 32Bqwen71.5 GBcomfortabelFP16 · / 96 GB
★Qwen 3 32Bqwen71.5 GBcomfortabelFP16 · / 96 GB
★QwQ 32Bqwq71.5 GBcomfortabelFP16 · / 96 GB

Krappe modellen

Deze modellen passen net. Ze kunnen draaien, maar context en snelheid zijn beperkt.

Mixtral 8x22Bmistral88.6 GBkrapQ4 · / 96 GB

Vrijgespeeld in 2x-rig

Met twee kaarten parallel (192 GB totaal) worden grotere modellen bereikbaar.

DeepSeek V2deepseek148.4 GBcomfortabelQ4 · / 192 GB
DeepSeek Coder V2deepseek148.4 GBcomfortabelQ4 · / 192 GB
★Qwen 3 235B A22Bqwen147.7 GBcomfortabelQ4 · / 192 GB
★Qwen3 235B A22Bqwen147.7 GBcomfortabelQ4 · / 192 GB
Falcon 180Bfalcon138.3 GBcomfortabelQ5 · / 192 GB

Vrijgespeeld in 4x-rig

Serverconfiguratie (384 GB totaal) voor de grootste open-weight modellen.

★Llama 3.1 405Bllama311.2 GBcomfortabelQ5 · / 384 GB
Hermes 3 405Bhermes311.2 GBcomfortabelQ5 · / 384 GB
★Llama 4 Maverick 17Bx128llama307.3 GBcomfortabelQ5 · / 384 GB
Nemotron 340Bnemotron261.2 GBcomfortabelQ5 · / 384 GB

Vergelijkbare GPUs

VRAM-schattingen bijgewerkt 2026-05-12.