Configura un rig →
Aya35B params8k contesto

Aya 23 35B in locale

Aya 23 35B è un LLM open-weight della famiglia Aya, con 35B parametri. Uso principale: chat, RAG and general assistance. Hardware minimo rilevato: TITAN RTX (24 GB).

Verifica sulla mia GPU →Hugging Face ↗
Scheda tecnica
Parametri35B
Contesto massimo8k
Q4_K_M22.0 GB
Q5_K_M26.9 GB
Q839.1 GB
FP1678.2 GB
FamigliaAya
Ultima sync2026-05-12

Quantization disponibili

Q4_K_M
22.0GB

Accettabile. Buon compromesso con VRAM limitata.

Q5_K_M
26.9GB

Buona qualità. Punto dolce tra dimensione e precisione.

Q8
39.1GB

Qualità quasi FP16. Comoda in produzione.

FP16
78.2GB

Precisione di riferimento. Qualità massima, più VRAM.

GPU compatibili

GPU capaci di eseguire Aya 23 35B su una sola scheda, ordinate per margine VRAM.

TITAN RTX
NVIDIA
24 GB · RTX 20
22.0 / 24 GBstretto · Q4
RTX 3090
NVIDIA
24 GB · RTX 30
22.0 / 24 GBstretto · Q4
RTX 3090 Ti
NVIDIA
24 GB · RTX 30
22.0 / 24 GBstretto · Q4
RTX 4090
NVIDIA
24 GB · RTX 40
22.0 / 24 GBstretto · Q4
Quadro RTX 6000
NVIDIA
24 GB · Quadro RTX
22.0 / 24 GBstretto · Q4
RTX A5000
NVIDIA
24 GB · RTX A (Ampere)
22.0 / 24 GBstretto · Q4
RTX A5500
NVIDIA
24 GB · RTX A (Ampere)
22.0 / 24 GBstretto · Q4
RTX 4500 Ada
NVIDIA
24 GB · RTX Ada
22.0 / 24 GBstretto · Q4
NVIDIA A10
NVIDIA
24 GB · Ampere DC
22.0 / 24 GBstretto · Q4
NVIDIA A30
NVIDIA
24 GB · Ampere DC
22.0 / 24 GBstretto · Q4
NVIDIA L4
NVIDIA
24 GB · Lovelace DC
22.0 / 24 GBstretto · Q4
Radeon RX 7900 XTX
AMD
24 GB · RDNA 3
22.0 / 24 GBstretto · Q4

Rig multi-GPU consigliati

Per Aya 23 35B con quantization più alta o più contesto, un rig multi-GPU offre più margine.

4× GTX 1060 6GB
NVIDIA
24 GB · GTX 10
22.0 / 24 GBstretto · Q4
4× GTX 1660
NVIDIA
24 GB · GTX 16
22.0 / 24 GBstretto · Q4
4× GTX 1660 Super
NVIDIA
24 GB · GTX 16
22.0 / 24 GBstretto · Q4
4× GTX 1660 Ti
NVIDIA
24 GB · GTX 16
22.0 / 24 GBstretto · Q4
4× RTX 2060 6GB
NVIDIA
24 GB · RTX 20
22.0 / 24 GBstretto · Q4
2× RTX 2060 12GB
NVIDIA
24 GB · RTX 20
22.0 / 24 GBstretto · Q4
4× RTX 3050 6GB
NVIDIA
24 GB · RTX 30
22.0 / 24 GBstretto · Q4
2× RTX 3060 12GB
NVIDIA
24 GB · RTX 30
22.0 / 24 GBstretto · Q4

Rig consigliato

4× GTX 1060 6GB

Aya 23 35B with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configura →

Modelli simili

Stime VRAM: parametri x bits/8 più margine. Prestazioni reali secondo engine, contesto e batch.
sync: 2026-05-12