Yi34B paramspopolare

dolphin 2.9.1 yi 1.5 34b in locale

dolphin 2.9.1 yi 1.5 34b è un LLM open-weight della famiglia Yi, con 34B parametri. Uso principale: chat, RAG and general assistance. Hardware minimo rilevato: TITAN RTX (24 GB).

Scheda tecnica
Parametri34B
Q4_K_M21.4 GB
Q5_K_M26.1 GB
Q838.0 GB
FP1676.0 GB
FamigliaYi
Ultima sync2026-05-12

Quantization disponibili

Q4_K_M
21.4GB

Accettabile. Buon compromesso con VRAM limitata.

Q5_K_M
26.1GB

Buona qualità. Punto dolce tra dimensione e precisione.

Q8
38.0GB

Qualità quasi FP16. Comoda in produzione.

FP16
76.0GB

Precisione di riferimento. Qualità massima, più VRAM.

GPU compatibili

GPU capaci di eseguire dolphin 2.9.1 yi 1.5 34b su una sola scheda, ordinate per margine VRAM.

Rig multi-GPU consigliati

Per dolphin 2.9.1 yi 1.5 34b con quantization più alta o più contesto, un rig multi-GPU offre più margine.

Rig consigliato

2× GTX 1080 Ti

dolphin 2.9.1 yi 1.5 34b with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configura

Modelli simili

Stime VRAM: parametri x bits/8 più margine. Prestazioni reali secondo engine, contesto e batch.
sync: 2026-05-12