Llama405B params128k contextpopulair
Llama 3.1 405B lokaal
Llama 3.1 405B is een open-weight LLM uit de Llama-familie met 405B parameters. Hoofdgebruik: chat, RAG and general assistance. Gedetecteerde minimumhardware: Instinct MI325X (256 GB).
Technische info
Parameters405B
Max context128k
Q4_K_M254.6 GB
Q5_K_M311.2 GB
Q8452.6 GB
FP16905.2 GB
FamilieLlama
Laatste sync2026-05-12
Beschikbare quantizations
GGUF-gewichtenQ4_K_M
254.6GB
Acceptabel. Goede keuze bij beperkte VRAM.
Q5_K_M
311.2GB
Goede kwaliteit. Sweet spot voor grootte en precisie.
Q8
452.6GB
Bijna FP16-kwaliteit. Comfortabel voor productie.
FP16
905.2GB
Referentieprecisie. Maximale kwaliteit, dubbele VRAM.
Compatibele GPUs
3 single-GPUGPUs die Llama 3.1 405B op één kaart kunnen draaien, gesorteerd op VRAM-marge.
Vergelijkbare modellen
VRAM-schatting: parameters x bits/8 plus marge. Echte prestaties hangen af van engine, context en batch.
sync: 2026-05-12