Configurar un rig →
CodeLlama7B params16k contexto

CodeLlama 7B en local

CodeLlama 7B es un LLM open-weight de la familia CodeLlama, con 7B parámetros. Uso principal: code and developer agents. Hardware mínimo detectado: GTX 1060 6GB (6 GB).

Comprobar en mi GPU →Hugging Face ↗
Ficha técnica
Parámetros7B
Contexto máximo16k
Q4_K_M4.4 GB
Q5_K_M5.4 GB
Q87.8 GB
FP1615.6 GB
FamiliaCodeLlama
Última sync2026-05-12

Quantizations disponibles

Q4_K_M
4.4GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M
5.4GB

Buena calidad. Punto dulce tamaño / precisión.

Q8
7.8GB

Calidad casi FP16. Cómodo para producción.

FP16
15.6GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

GPUs capaces de ejecutar CodeLlama 7B en una sola tarjeta, ordenadas por margen de VRAM.

GTX 1060 6GB
NVIDIA
6 GB · GTX 10
4.4 / 6 GBcómodo · Q4
GTX 1660
NVIDIA
6 GB · GTX 16
4.4 / 6 GBcómodo · Q4
GTX 1660 Super
NVIDIA
6 GB · GTX 16
4.4 / 6 GBcómodo · Q4
GTX 1660 Ti
NVIDIA
6 GB · GTX 16
4.4 / 6 GBcómodo · Q4
RTX 2060 6GB
NVIDIA
6 GB · RTX 20
4.4 / 6 GBcómodo · Q4
RTX 3050 6GB
NVIDIA
6 GB · RTX 30
4.4 / 6 GBcómodo · Q4
Arc A380
Intel
6 GB · Arc Alchemist
4.4 / 6 GBcómodo · Q4
GTX 1070
NVIDIA
8 GB · GTX 10
5.4 / 8 GBcómodo · Q5
GTX 1070 Ti
NVIDIA
8 GB · GTX 10
5.4 / 8 GBcómodo · Q5
GTX 1080
NVIDIA
8 GB · GTX 10
5.4 / 8 GBcómodo · Q5
RTX 2060 Super
NVIDIA
8 GB · RTX 20
5.4 / 8 GBcómodo · Q5
RTX 2070
NVIDIA
8 GB · RTX 20
5.4 / 8 GBcómodo · Q5

Rigs multi-GPU recomendados

Para CodeLlama 7B con quantization más alta o más contexto, un rig multi-GPU da más margen.

2× GTX 1650
NVIDIA
8 GB · GTX 16
5.4 / 8 GBcómodo · Q5
2× GTX 1060 6GB
NVIDIA
12 GB · GTX 10
7.8 / 12 GBcómodo · Q8
2× GTX 1660
NVIDIA
12 GB · GTX 16
7.8 / 12 GBcómodo · Q8
2× GTX 1660 Super
NVIDIA
12 GB · GTX 16
7.8 / 12 GBcómodo · Q8
2× GTX 1660 Ti
NVIDIA
12 GB · GTX 16
7.8 / 12 GBcómodo · Q8
2× RTX 2060 6GB
NVIDIA
12 GB · RTX 20
7.8 / 12 GBcómodo · Q8
2× RTX 3050 6GB
NVIDIA
12 GB · RTX 30
7.8 / 12 GBcómodo · Q8
2× Arc A380
Intel
12 GB · Arc Alchemist
7.8 / 12 GBcómodo · Q8

Rig recomendado

2× GTX 1650

CodeLlama 7B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configurar →

Modelos similares

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12