Granite 4 H-Tiny 7B-A1B en local
Granite 4 H-Tiny 7B-A1B est un LLM open source de la famille Granite, moyen (7 milliards de paramètres). Il est principalement utilisé pour le chat, le RAG et l'assistance générale. Modèle MoE avec 1B params actifs par token sur 7B au total. Le matériel minimum pour le faire tourner localement est GTX 1060 6GB (6 GB).
Quantizations disponibles
poids GGUF · llama.cpp 0.4+Acceptable. Configs limitées en VRAM.
Bonne qualité. Sweet spot taille / précision.
Quasi-identique au FP16. Production.
Référence. Précision max, VRAM doublée.
GPUs compatibles
vérifié · 12 configs mono-carteGPUs qui peuvent faire tourner Granite 4 H-Tiny 7B-A1B sur une seule carte, classés du plus accessible au plus haut de gamme.
Rigs multi-GPU recommandés
consumer · 2× ou 4× cartesPour faire tourner Granite 4 H-Tiny 7B-A1B en quantization plus haute (Q8, FP16) ou avec plus de marge pour le contexte long, un rig à plusieurs GPU consumer offre le meilleur rapport perf/€.
Rig prêt à l'emploi
2× GTX 1650, OS Ubuntu, vLLM + Open WebUI, modèle déjà téléchargé. Vous branchez, c'est en ligne.
Modèles similaires
// données mises à jour le 2026-05-12 via HuggingFace API.
// estimations VRAM : (params × bits/8) × overhead 20 %.
// les valeurs réelles varient selon le moteur (llama.cpp, vLLM, MLX), la longueur de contexte utilisée et le batch size.