Nemotron340B params4k contexto

Nemotron 340B en local

Nemotron 340B es un LLM open-weight de la familia Nemotron, con 340B parámetros. Uso principal: chat, RAG and general assistance. Hardware mínimo detectado: Instinct MI325X (256 GB).

Comprobar en mi GPU →Hugging Face ↗

Ficha técnica

Parámetros340B

Contexto máximo4k

Q4_K_M213.7 GB

Q5_K_M261.2 GB

Q8380.0 GB

FP16760.0 GB

FamiliaNemotron

Última sync2026-05-12

Quantizations disponibles

pesos GGUF

Q4_K_M

213.7GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M

261.2GB

Buena calidad. Punto dulce tamaño / precisión.

380.0GB

Calidad casi FP16. Cómodo para producción.

FP16

760.0GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

3 single-GPU

GPUs capaces de ejecutar Nemotron 340B en una sola tarjeta, ordenadas por margen de VRAM.

Instinct MI325X

AMD

256 GB · Instinct CDNA 3+

213.7 / 256 GBcómodo · Q4

Mac Studio M3 Ultra (256GB)

Apple

256 GB · Mac Studio

213.7 / 256 GBcómodo · Q4

Mac Studio M3 Ultra (512GB)

Apple

512 GB · Mac Studio

380.0 / 512 GBcómodo · Q8

Modelos similares

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12