Yi34B paramspopular

dolphin 2.9.1 yi 1.5 34b en local

dolphin 2.9.1 yi 1.5 34b es un LLM open-weight de la familia Yi, con 34B parámetros. Uso principal: chat, RAG and general assistance. Hardware mínimo detectado: TITAN RTX (24 GB).

Ficha técnica
Parámetros34B
Q4_K_M21.4 GB
Q5_K_M26.1 GB
Q838.0 GB
FP1676.0 GB
FamiliaYi
Última sync2026-05-12

Quantizations disponibles

Q4_K_M
21.4GB

Aceptable. Buen compromiso si la VRAM es limitada.

Q5_K_M
26.1GB

Buena calidad. Punto dulce tamaño / precisión.

Q8
38.0GB

Calidad casi FP16. Cómodo para producción.

FP16
76.0GB

Precisión de referencia. Máxima calidad, más VRAM.

GPUs compatibles

GPUs capaces de ejecutar dolphin 2.9.1 yi 1.5 34b en una sola tarjeta, ordenadas por margen de VRAM.

Rigs multi-GPU recomendados

Para dolphin 2.9.1 yi 1.5 34b con quantization más alta o más contexto, un rig multi-GPU da más margen.

Rig recomendado

2× GTX 1080 Ti

dolphin 2.9.1 yi 1.5 34b with Ubuntu, vLLM, Open WebUI and the model already downloaded.

Configurar

Modelos similares

Estimaciones VRAM: parámetros x bits/8 más margen. El rendimiento real varía según motor, contexto y batch.
sync: 2026-05-12