Configurar un rig →
Athene70B params8k contexto

Athene 70B en local

Athene 70B es un LLM open-weight de la familia Athene, con 70B parámetros. Uso principal: chat, RAG and general assistance. Hardware mínimo detectado: Quadro RTX 8000 (48 GB).

Comprobar en mi GPU →Hugging Face ↗
Ficha técnica
Parámetros70B
Contexto máximo8k
Q4_K_M44.0 GB
Q5_K_M53.8 GB
Q878.2 GB
FP16156.5 GB
FamiliaAthene
Última sync2026-05-12

Quantizations disponibles

Q4_K_M
44.0GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M
53.8GB

Buena calidad. Punto dulce tamaño / precisión.

Q8
78.2GB

Calidad casi FP16. Cómodo para producción.

FP16
156.5GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

GPUs capaces de ejecutar Athene 70B en una sola tarjeta, ordenadas por margen de VRAM.

Quadro RTX 8000
NVIDIA
48 GB · Quadro RTX
44.0 / 48 GBjusto · Q4
RTX A6000
NVIDIA
48 GB · RTX A (Ampere)
44.0 / 48 GBjusto · Q4
RTX 6000 Ada
NVIDIA
48 GB · RTX Ada
44.0 / 48 GBjusto · Q4
NVIDIA A40
NVIDIA
48 GB · Ampere DC
44.0 / 48 GBjusto · Q4
NVIDIA L40
NVIDIA
48 GB · Lovelace DC
44.0 / 48 GBjusto · Q4
NVIDIA L40S
NVIDIA
48 GB · Lovelace DC
44.0 / 48 GBjusto · Q4
Radeon Pro W7900
AMD
48 GB · Radeon Pro W
44.0 / 48 GBjusto · Q4
Mac Mini M4 Pro (48GB)
Apple
48 GB · Mac Mini
44.0 / 48 GBjusto · Q4
MacBook Pro 14 M4 Pro (48GB)
Apple
48 GB · MacBook Pro 14
44.0 / 48 GBjusto · Q4
MacBook Pro 14 M4 Max (48GB)
Apple
48 GB · MacBook Pro 14
44.0 / 48 GBjusto · Q4
MacBook Pro 16 M3 Max (48GB)
Apple
48 GB · MacBook Pro 16
44.0 / 48 GBjusto · Q4
MacBook Pro 16 M4 Pro (48GB)
Apple
48 GB · MacBook Pro 16
44.0 / 48 GBjusto · Q4

Rigs multi-GPU recomendados

Para Athene 70B con quantization más alta o más contexto, un rig multi-GPU da más margen.

4× RTX 2060 12GB
NVIDIA
48 GB · RTX 20
44.0 / 48 GBjusto · Q4
2× TITAN RTX
NVIDIA
48 GB · RTX 20
44.0 / 48 GBjusto · Q4
4× RTX 3060 12GB
NVIDIA
48 GB · RTX 30
44.0 / 48 GBjusto · Q4
4× RTX 3080 12GB
NVIDIA
48 GB · RTX 30
44.0 / 48 GBjusto · Q4
4× RTX 3080 Ti
NVIDIA
48 GB · RTX 30
44.0 / 48 GBjusto · Q4
2× RTX 3090
NVIDIA
48 GB · RTX 30
44.0 / 48 GBjusto · Q4
2× RTX 3090 Ti
NVIDIA
48 GB · RTX 30
44.0 / 48 GBjusto · Q4
4× RTX 4070
NVIDIA
48 GB · RTX 40
44.0 / 48 GBjusto · Q4

Rig recomendado

4× RTX 2060 12GB

Athene 70B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configurar →

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12