Configurar un rig →
Aya8B params8k contexto

Aya 23 8B en local

Aya 23 8B es un LLM open-weight de la familia Aya, con 8B parámetros. Uso principal: chat, RAG and general assistance. Hardware mínimo detectado: GTX 1060 6GB (6 GB).

Comprobar en mi GPU →Hugging Face ↗
Ficha técnica
Parámetros8B
Contexto máximo8k
Q4_K_M5.0 GB
Q5_K_M6.1 GB
Q88.9 GB
FP1617.9 GB
FamiliaAya
Última sync2026-05-12

Quantizations disponibles

Q4_K_M
5.0GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M
6.1GB

Buena calidad. Punto dulce tamaño / precisión.

Q8
8.9GB

Calidad casi FP16. Cómodo para producción.

FP16
17.9GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

GPUs capaces de ejecutar Aya 23 8B en una sola tarjeta, ordenadas por margen de VRAM.

GTX 1060 6GB
NVIDIA
6 GB · GTX 10
5.0 / 6 GBcómodo · Q4
GTX 1660
NVIDIA
6 GB · GTX 16
5.0 / 6 GBcómodo · Q4
GTX 1660 Super
NVIDIA
6 GB · GTX 16
5.0 / 6 GBcómodo · Q4
GTX 1660 Ti
NVIDIA
6 GB · GTX 16
5.0 / 6 GBcómodo · Q4
RTX 2060 6GB
NVIDIA
6 GB · RTX 20
5.0 / 6 GBcómodo · Q4
RTX 3050 6GB
NVIDIA
6 GB · RTX 30
5.0 / 6 GBcómodo · Q4
Arc A380
Intel
6 GB · Arc Alchemist
5.0 / 6 GBcómodo · Q4
GTX 1070
NVIDIA
8 GB · GTX 10
6.1 / 8 GBcómodo · Q5
GTX 1070 Ti
NVIDIA
8 GB · GTX 10
6.1 / 8 GBcómodo · Q5
GTX 1080
NVIDIA
8 GB · GTX 10
6.1 / 8 GBcómodo · Q5
RTX 2060 Super
NVIDIA
8 GB · RTX 20
6.1 / 8 GBcómodo · Q5
RTX 2070
NVIDIA
8 GB · RTX 20
6.1 / 8 GBcómodo · Q5

Rigs multi-GPU recomendados

Para Aya 23 8B con quantization más alta o más contexto, un rig multi-GPU da más margen.

2× GTX 1650
NVIDIA
8 GB · GTX 16
6.1 / 8 GBcómodo · Q5
2× GTX 1060 6GB
NVIDIA
12 GB · GTX 10
8.9 / 12 GBcómodo · Q8
2× GTX 1660
NVIDIA
12 GB · GTX 16
8.9 / 12 GBcómodo · Q8
2× GTX 1660 Super
NVIDIA
12 GB · GTX 16
8.9 / 12 GBcómodo · Q8
2× GTX 1660 Ti
NVIDIA
12 GB · GTX 16
8.9 / 12 GBcómodo · Q8
2× RTX 2060 6GB
NVIDIA
12 GB · RTX 20
8.9 / 12 GBcómodo · Q8
2× RTX 3050 6GB
NVIDIA
12 GB · RTX 30
8.9 / 12 GBcómodo · Q8
2× Arc A380
Intel
12 GB · Arc Alchemist
8.9 / 12 GBcómodo · Q8

Rig recomendado

2× GTX 1650

Aya 23 8B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configurar →

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12