Quel GPU pour faire tourner Llama 3.3 70B en local en 2026 ?
VRAM requise par quantization, GPUs compatibles (consumer / pro / datacenter), comparatif RTX 5090 vs A6000 vs H100, et le rapport coût/perf vs API OpenAI à l'échelle.
Llama 3.3 70B est devenu en 2026 le LLM open source de référence pour le RAG d'entreprise et l'agentic local. Avec 70 milliards de paramètres, il rivalise avec GPT-4o sur les benchmarks de raisonnement tout en restant utilisable sur du matériel grand public — à condition de bien le quantizer. Voici ce qu'il vous faut savoir avant d'acheter.
VRAM requise selon la quantization
La VRAM nécessaire pour faire tourner Llama 3.3 70B dépend principalement du format de quantization utilisé. Voici les chiffres concrets, avec une marge de 20 % pour le cache KV et l'inférence :
| Quantization | VRAM totale | Note |
|---|---|---|
| Q4_K_M | ~47 GB | Qualité acceptable, 4.5 bits/param |
| Q5_K_M | ~58 GB | Très bonne qualité, recommandée pour RAG |
| Q8 | ~84 GB | Quasi-FP16, perte imperceptible |
| FP16 | ~168 GB | Référence, max précision |
Les 3 cas typiques
1. Vous avez ~24 GB de VRAM (RTX 4090 / 5090 / 3090)
Q4_K_M nécessite 47 GB — impossible avec un seul GPU consumer. Vous pouvez :
- Faire tourner le modèle en mode CPU+GPU offload (lent : 1-3 tok/s)
- Passer à un modèle plus petit (Llama 3.1 8B, Qwen 2.5 14B) qui rentre confortablement
- Construire un rig 2× RTX 5090 (64 GB) → Llama 70B Q5_K_M tourne avec marge
2. Vous avez 48-64 GB de VRAM (rig 2 GPU ou A6000)
C'est le sweet spot 2026 pour Llama 70B :
- 2× RTX 5090 (64 GB) → Q5_K_M avec marge confortable, ~25 tok/s en vLLM
- RTX A6000 (48 GB) → Q4_K_M tient juste, Q5 trop serré
- 2× RTX 4090 (48 GB) → idem A6000, plus dispo en seconde main
À ce niveau de VRAM, vous pouvez aussi viser Mistral Large 123B en Q4 ou DeepSeek R1 Distill 70B Q5 pour le reasoning.
3. Vous avez 80+ GB de VRAM (datacenter)
Vous tournez Llama 70B en Q8 (84 GB) sans compromis, et vous accédez aux gros modèles MoE :
- 1× H100 80GB ou A100 80GB → Llama 70B Q8 tendu mais OK
- 2× H100 (160 GB) → Llama 70B FP16 + reste pour KV cache, ou Mixtral 8x22B Q8
- 1× H200 (141 GB) → la config 1-GPU la plus généreuse
- 1× MI300X (192 GB) → la config la moins chère par GB de VRAM en 2026
Le rapport coût / perfs face à OpenAI
Question à laquelle tout DSI réfléchit. Prenons un cas réel : un cabinet d'avocats qui fait 500 requêtes par jour de ~2000 tokens chacune (recherche jurisprudentielle, brief automatique).
| Solution | Coût marginal | Amortissement vs API | Souveraineté |
|---|---|---|---|
| API GPT-4o | ~$0.015 / 1K tokens | ~750 €/mois | Données chez OpenAI (US) |
| API Claude Sonnet | ~$0.018 / 1K tokens | ~900 €/mois | Données chez Anthropic (US) |
| Rig 2× RTX 5090 + Llama 70B | Élec ~50 €/mois | Amorti en ~12 mois | Données restent chez le client |
| Rig 1× H100 + Llama 70B FP16 | Élec ~80 €/mois | Amorti en ~36 mois | Solution flagship souveraine |
Au-delà de l'amortissement financier, le vrai différenciateur en 2026 est l'agentic local : les LLM open source sont devenus assez bons pour piloter des outils, naviguer dans les applications, et automatiser des workflows multi-étapes. Quand un agent passe la journée à appeler ton LLM, le coût d'API explose — alors que sur un rig local, le coût marginal reste l'électricité.
Notre recommandation par profil
- Solo dev / chercheur : 1× RTX 5090 (32 GB) suffit pour des modèles 14B-32B. Passez à Qwen 2.5 32B ou Gemma 4 31B en local plutôt que Llama 70B.
- TPE / agence / cabinet : 2× RTX 5090 (64 GB) = Llama 70B Q5 confortable. Notre palier Pro à 11 990 € HT est dimensionné pour ça.
- PME / cabinet juridique / médical : 2× RTX A6000 NVLink (96 GB) = Llama 70B FP16 + headroom pour Mistral Large ou MoE. Notre palier Entreprise inclut une stack RAG documentée.
- ETI / sur-mesure : H100, MI300X, multi-rack — on en parle.
Tester avant de monter
Notre calculateur GPU → LLM permet de simuler exactement ce qui tourne sur votre config (mono-GPU ou rig × N), avec les chiffres mis à jour quotidiennement depuis HuggingFace. Vous y trouvez 240+ modèles open source et 200+ GPUs, du GTX 1080 Ti au Mac Studio M3 Ultra 512 GB en passant par les datacenter AMD MI300X.