Rig konfigurieren →
Nemotron340B params4k Kontext

Nemotron 340B lokal

Nemotron 340B ist ein Open-Weight-LLM aus der Familie Nemotron mit 340B Parametern. Haupteinsatz: chat, RAG and general assistance. Erkannte Mindesthardware: Instinct MI325X (256 GB).

Auf meiner GPU prüfen →Hugging Face ↗
Technische Daten
Parameter340B
Max. Kontext4k
Q4_K_M213.7 GB
Q5_K_M261.2 GB
Q8380.0 GB
FP16760.0 GB
FamilieNemotron
Letzter Sync2026-05-12

Verfügbare Quantizations

Q4_K_M
213.7GB

Akzeptabel. Guter Kompromiss bei knapper VRAM.

Q5_K_M
261.2GB

Gute Qualität. Sweet Spot aus Größe und Präzision.

Q8
380.0GB

Fast FP16-Qualität. Produktionstauglich.

FP16
760.0GB

Referenzpräzision. Maximale Qualität, doppelte VRAM.

Kompatible GPUs

GPUs, die Nemotron 340B auf einer einzelnen Karte ausführen können, nach VRAM-Spielraum sortiert.

Instinct MI325X
AMD
256 GB · Instinct CDNA 3+
213.7 / 256 GBkomfortabel · Q4
Mac Studio M3 Ultra (256GB)
Apple
256 GB · Mac Studio
213.7 / 256 GBkomfortabel · Q4
Mac Studio M3 Ultra (512GB)
Apple
512 GB · Mac Studio
380.0 / 512 GBkomfortabel · Q8

Ähnliche Modelle

VRAM-Schätzung: Parameter x bits/8 plus Reserve. Reale Leistung hängt von Engine, Kontext und Batch ab.
sync: 2026-05-12