Rig konfigurieren →
NVIDIAConsumerGTX 10

GTX 1060 6GB für lokale KI

GTX 1060 6GB bietet 6 GB VRAM für lokale KI. Im LocalIA-Katalog laufen 136 von 242 Modellen komfortabel auf einer Karte.

Kompatible Modelle ansehen →Rig mit 6GB ↗
VRAM
6GB
Kategorie
Consumer
Serie
GTX 10
Vendor
NVIDIA

Modelle, die komfortabel laufen

Diese Modelle passen in 6 GB mit Reserve für Kontext und stabile Inferenz.

Llama 3 8Bllama5.0 GBkomfortabelQ4 · / 6 GB
★Llama 3.1 8Bllama5.0 GBkomfortabelQ4 · / 6 GB
Ministral 8Bmistral5.0 GBkomfortabelQ4 · / 6 GB
★Qwen 3 8Bqwen5.0 GBkomfortabelQ4 · / 6 GB
DeepSeek R1 Distill 8Bdeepseek5.0 GBkomfortabelQ4 · / 6 GB
Aya 23 8Baya5.0 GBkomfortabelQ4 · / 6 GB
Granite 3 8Bgranite5.0 GBkomfortabelQ4 · / 6 GB
★Hermes 3 8Bhermes5.0 GBkomfortabelQ4 · / 6 GB
★DeepSeek R1 Distill Llama 8Bdeepseek5.0 GBkomfortabelQ4 · / 6 GB
★MiniCPM 4.1 8Bminicpm5.0 GBkomfortabelQ4 · / 6 GB
★Qwen3 8Bqwen5.0 GBkomfortabelQ4 · / 6 GB
★Llama 3.1 8B Instructllama5.0 GBkomfortabelQ4 · / 6 GB
★Meta Llama 3 8Bllama5.0 GBkomfortabelQ4 · / 6 GB
★Meta Llama 3 8B Instructllama5.0 GBkomfortabelQ4 · / 6 GB
★Llama 3.1 8Bllama5.0 GBkomfortabelQ4 · / 6 GB
★DeepSeek R1 Distill Llama 8Bllama5.0 GBkomfortabelQ4 · / 6 GB
★Llama 3.1 8B Instructllama5.0 GBkomfortabelQ4 · / 6 GB
★Qwen3 8B Baseqwen5.0 GBkomfortabelQ4 · / 6 GB
★saiga_llama3_8bllama5.0 GBkomfortabelQ4 · / 6 GB
★Meta Llama 3.1 8B Instructllama5.0 GBkomfortabelQ4 · / 6 GB
★Phi Mini MoE 7.6Bphi4.8 GBkomfortabelQ4 · / 6 GB
Llama 2 7Bllama4.4 GBkomfortabelQ4 · / 6 GB
CodeLlama 7Bcodellama4.4 GBkomfortabelQ4 · / 6 GB
★Mistral 7Bmistral4.4 GBkomfortabelQ4 · / 6 GB
Mathstral 7Bmistral4.4 GBkomfortabelQ4 · / 6 GB
★Qwen 2.5 7Bqwen4.4 GBkomfortabelQ4 · / 6 GB
★Qwen 2.5 Coder 7Bqwen4.4 GBkomfortabelQ4 · / 6 GB
★DeepSeek R1 Distill 7Bdeepseek4.4 GBkomfortabelQ4 · / 6 GB
DeepSeek Math 7Bdeepseek4.4 GBkomfortabelQ4 · / 6 GB
CodeGemma 7Bgemma4.4 GBkomfortabelQ4 · / 6 GB

Knappe Modelle

Diese Modelle passen gerade so. Sie laufen, aber Kontext und Geschwindigkeit sind begrenzt.

★Gemma 2 9Bgemma5.7 GBknappQ4 · / 6 GB
Yi 1.5 9Byi5.7 GBknappQ4 · / 6 GB
★Qwen 3.5 9Bqwen5.7 GBknappQ4 · / 6 GB
★GLM-4 9Bglm5.7 GBknappQ4 · / 6 GB
★GLM-4.7 Flashglm5.7 GBknappQ4 · / 6 GB
GLM-4.1V 9B Thinkingglm5.7 GBknappQ4 · / 6 GB
★NVIDIA Nemotron Nano 9Bnemotron5.7 GBknappQ4 · / 6 GB
★gemma 2 9b itgemma5.7 GBknappQ4 · / 6 GB

Freigeschaltet im 2x-Rig

Mit zwei Karten parallel (12 GB gesamt) werden größere Modelle erreichbar.

DeepSeek V2 Litedeepseek10.1 GBkomfortabelQ4 · / 12 GB
DeepSeek Coder V2 Litedeepseek10.1 GBkomfortabelQ4 · / 12 GB
StarCoder 2 15Bstarcoder9.4 GBkomfortabelQ4 · / 12 GB
★Phi-4 Reasoning Vision 15Bphi9.4 GBkomfortabelQ4 · / 12 GB
★Qwen 2.5 14Bqwen8.8 GBkomfortabelQ4 · / 12 GB
Qwen 2.5 Coder 14Bqwen8.8 GBkomfortabelQ4 · / 12 GB
★Qwen 3 14Bqwen8.8 GBkomfortabelQ4 · / 12 GB
★DeepSeek R1 Distill 14Bdeepseek8.8 GBkomfortabelQ4 · / 12 GB
Phi-3 Medium 14Bphi8.8 GBkomfortabelQ4 · / 12 GB
★Phi-4 14Bphi8.8 GBkomfortabelQ4 · / 12 GB
★GLM-4.5 Airglm8.8 GBkomfortabelQ4 · / 12 GB
★Qwen2.5 14B Instructqwen8.8 GBkomfortabelQ4 · / 12 GB
★Qwen3 14Bqwen8.8 GBkomfortabelQ4 · / 12 GB
★Qwen2.5 Coder 14B Instructqwen8.8 GBkomfortabelQ4 · / 12 GB
★DeepSeek R1 Distill Qwen 14Bqwen8.8 GBkomfortabelQ4 · / 12 GB

Freigeschaltet im 4x-Rig

Server-Konfiguration (24 GB gesamt) für sehr große Open-Weight-Modelle.

Command R 35Bcommand22.0 GBknappQ4 · / 24 GB
Aya 23 35Baya22.0 GBknappQ4 · / 24 GB
CodeLlama 34Bcodellama21.4 GBknappQ4 · / 24 GB
Yi 1.5 34Byi21.4 GBknappQ4 · / 24 GB
★dolphin 2.9.1 yi 1.5 34byi21.4 GBknappQ4 · / 24 GB
★Qwen 2.5 32Bqwen20.1 GBkomfortabelQ4 · / 24 GB
★Qwen 2.5 Coder 32Bqwen20.1 GBkomfortabelQ4 · / 24 GB
★Qwen 3 32Bqwen20.1 GBkomfortabelQ4 · / 24 GB
★QwQ 32Bqwq20.1 GBkomfortabelQ4 · / 24 GB
★DeepSeek R1 Distill 32Bdeepseek20.1 GBkomfortabelQ4 · / 24 GB

Ähnliche GPUs

VRAM-Schätzungen aktualisiert 2026-05-12.