Nemotron340B params4k context

Nemotron 340B lokaal

Nemotron 340B is een open-weight LLM uit de Nemotron-familie met 340B parameters. Hoofdgebruik: chat, RAG and general assistance. Gedetecteerde minimumhardware: Instinct MI325X (256 GB).

Check op mijn GPU →Hugging Face ↗

Technische info

Parameters340B

Max context4k

Q4_K_M213.7 GB

Q5_K_M261.2 GB

Q8380.0 GB

FP16760.0 GB

FamilieNemotron

Laatste sync2026-05-12

Beschikbare quantizations

GGUF-gewichten

Q4_K_M

213.7GB

Acceptabel. Goede keuze bij beperkte VRAM.

Q5_K_M

261.2GB

Goede kwaliteit. Sweet spot voor grootte en precisie.

380.0GB

Bijna FP16-kwaliteit. Comfortabel voor productie.

FP16

760.0GB

Referentieprecisie. Maximale kwaliteit, dubbele VRAM.

Compatibele GPUs

3 single-GPU

GPUs die Nemotron 340B op één kaart kunnen draaien, gesorteerd op VRAM-marge.

Instinct MI325X

AMD

256 GB · Instinct CDNA 3+

213.7 / 256 GBcomfortabel · Q4

Mac Studio M3 Ultra (256GB)

Apple

256 GB · Mac Studio

213.7 / 256 GBcomfortabel · Q4

Mac Studio M3 Ultra (512GB)

Apple

512 GB · Mac Studio

380.0 / 512 GBcomfortabel · Q8

Vergelijkbare modellen

VRAM-schatting: parameters x bits/8 plus marge. Echte prestaties hangen af van engine, context en batch.
sync: 2026-05-12