DeepSeek16B params2.4B activos (MoE)33k contexto

DeepSeek V2 Lite en local

DeepSeek V2 Lite es un LLM open-weight de la familia DeepSeek, con 16B parámetros. Uso principal: chat, RAG and general assistance. Hardware mínimo detectado: GTX 1080 Ti (11 GB).

Ficha técnica
Parámetros16B
Contexto máximo33k
Q4_K_M10.1 GB
Q5_K_M12.3 GB
Q817.9 GB
FP1635.8 GB
FamiliaDeepSeek
Última sync2026-05-12

Quantizations disponibles

Q4_K_M
10.1GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M
12.3GB

Buena calidad. Punto dulce tamaño / precisión.

Q8
17.9GB

Calidad casi FP16. Cómodo para producción.

FP16
35.8GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

GPUs capaces de ejecutar DeepSeek V2 Lite en una sola tarjeta, ordenadas por margen de VRAM.

Rigs multi-GPU recomendados

Para DeepSeek V2 Lite con quantization más alta o más contexto, un rig multi-GPU da más margen.

Rig recomendado

2× GTX 1060 6GB

DeepSeek V2 Lite with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configurar

Modelos similares

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12