DeepSeek V2 en local
DeepSeek V2 est un LLM open source de la famille DeepSeek, très grand (236 milliards de paramètres). Il est principalement utilisé pour le chat, le RAG et l'assistance générale. Modèle MoE avec 21B params actifs par token sur 236B au total. Le matériel minimum pour le faire tourner localement est NVIDIA B100 (192 GB).
Quantizations disponibles
poids GGUF · llama.cpp 0.4+Acceptable. Configs limitées en VRAM.
Bonne qualité. Sweet spot taille / précision.
Quasi-identique au FP16. Production.
Référence. Précision max, VRAM doublée.
GPUs compatibles
vérifié · 10 configs mono-carteGPUs qui peuvent faire tourner DeepSeek V2 sur une seule carte, classés du plus accessible au plus haut de gamme.
Modèles similaires
// données mises à jour le 2026-05-12 via HuggingFace API.
// estimations VRAM : (params × bits/8) × overhead 20 %.
// les valeurs réelles varient selon le moteur (llama.cpp, vLLM, MLX), la longueur de contexte utilisée et le batch size.