Nemotron120B paramspopulair

NVIDIA Nemotron 3 Super 120B A12B BF16 lokaal

NVIDIA Nemotron 3 Super 120B A12B BF16 is een open-weight LLM uit de Nemotron-familie met 120B parameters. Hoofdgebruik: chat, RAG and general assistance. Gedetecteerde minimumhardware: NVIDIA A100 80GB (80 GB).

Technische info
Parameters120B
Q4_K_M75.4 GB
Q5_K_M92.2 GB
Q8134.1 GB
FP16268.2 GB
FamilieNemotron
Laatste sync2026-05-12

Beschikbare quantizations

Q4_K_M
75.4GB

Acceptabel. Goede keuze bij beperkte VRAM.

Q5_K_M
92.2GB

Goede kwaliteit. Sweet spot voor grootte en precisie.

Q8
134.1GB

Bijna FP16-kwaliteit. Comfortabel voor productie.

FP16
268.2GB

Referentieprecisie. Maximale kwaliteit, dubbele VRAM.

Compatibele GPUs

GPUs die NVIDIA Nemotron 3 Super 120B A12B BF16 op één kaart kunnen draaien, gesorteerd op VRAM-marge.

Aanbevolen multi-GPU rigs

Voor NVIDIA Nemotron 3 Super 120B A12B BF16 met hogere quantization of meer context geeft een multi-GPU rig meer marge.

Aanbevolen rig

4× TITAN RTX

NVIDIA Nemotron 3 Super 120B A12B BF16 with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configureer

Vergelijkbare modellen

VRAM-schatting: parameters x bits/8 plus marge. Echte prestaties hangen af van engine, context en batch.
sync: 2026-05-12