SmolLM0.135B params8k contesto
SmolLM 2 135M in locale
SmolLM 2 135M è un LLM open-weight della famiglia SmolLM, con 0.135B parametri. Uso principale: chat, RAG and general assistance. Hardware minimo rilevato: GTX 1650 (4 GB).
Scheda tecnica
Parametri0.135B
Contesto massimo8k
Q4_K_M0.1 GB
Q5_K_M0.1 GB
Q80.2 GB
FP160.3 GB
FamigliaSmolLM
Ultima sync2026-05-12
Quantization disponibili
pesi GGUFQ4_K_M
0.1GB
Accettabile. Buon compromesso con VRAM limitata.
Q5_K_M
0.1GB
Buona qualità. Punto dolce tra dimensione e precisione.
Q8
0.2GB
Qualità quasi FP16. Comoda in produzione.
FP16
0.3GB
Precisione di riferimento. Qualità massima, più VRAM.
GPU compatibili
12 single-GPUGPU capaci di eseguire SmolLM 2 135M su una sola scheda, ordinate per margine VRAM.
GTX 1650
NVIDIA4 GB · GTX 16
0.3 / 4 GBcomodo · FP16
GTX 1060 6GB
NVIDIA6 GB · GTX 10
0.3 / 6 GBcomodo · FP16
GTX 1660
NVIDIA6 GB · GTX 16
0.3 / 6 GBcomodo · FP16
GTX 1660 Super
NVIDIA6 GB · GTX 16
0.3 / 6 GBcomodo · FP16
GTX 1660 Ti
NVIDIA6 GB · GTX 16
0.3 / 6 GBcomodo · FP16
RTX 2060 6GB
NVIDIA6 GB · RTX 20
0.3 / 6 GBcomodo · FP16
RTX 3050 6GB
NVIDIA6 GB · RTX 30
0.3 / 6 GBcomodo · FP16
Arc A380
Intel6 GB · Arc Alchemist
0.3 / 6 GBcomodo · FP16
GTX 1070
NVIDIA8 GB · GTX 10
0.3 / 8 GBcomodo · FP16
GTX 1070 Ti
NVIDIA8 GB · GTX 10
0.3 / 8 GBcomodo · FP16
GTX 1080
NVIDIA8 GB · GTX 10
0.3 / 8 GBcomodo · FP16
RTX 2060 Super
NVIDIA8 GB · RTX 20
0.3 / 8 GBcomodo · FP16
Rig multi-GPU consigliati
2x / 4x consumer GPUsPer SmolLM 2 135M con quantization più alta o più contesto, un rig multi-GPU offre più margine.
2× GTX 1650
NVIDIA8 GB · GTX 16
0.3 / 8 GBcomodo · FP16
2× GTX 1060 6GB
NVIDIA12 GB · GTX 10
0.3 / 12 GBcomodo · FP16
2× GTX 1660
NVIDIA12 GB · GTX 16
0.3 / 12 GBcomodo · FP16
2× GTX 1660 Super
NVIDIA12 GB · GTX 16
0.3 / 12 GBcomodo · FP16
2× GTX 1660 Ti
NVIDIA12 GB · GTX 16
0.3 / 12 GBcomodo · FP16
2× RTX 2060 6GB
NVIDIA12 GB · RTX 20
0.3 / 12 GBcomodo · FP16
2× RTX 3050 6GB
NVIDIA12 GB · RTX 30
0.3 / 12 GBcomodo · FP16
2× Arc A380
Intel12 GB · Arc Alchemist
0.3 / 12 GBcomodo · FP16
Rig consigliato
2× GTX 1650
SmolLM 2 135M with Ubuntu, vLLM, Open WebUI and the model already downloaded.
Stime VRAM: parametri x bits/8 più margine. Prestazioni reali secondo engine, contesto e batch.
sync: 2026-05-12