// Anleitung

Wie viel VRAM braucht man für ein lokales LLM?

Die kurze Antwort: genug, um die Modelldatei plus ihren Arbeitsspeicher aufzunehmen. Ein typisches 8B-Modell braucht etwa 5 GB bei der beliebten 4-Bit-Einstellung, etwa 8,5 GB bei 8 Bit und 16 GB unquantisiert. Diese Anleitung macht aus deiner Grafikkarte — oder aus deinem System-RAM, falls du keine Karte hast — eine konkrete Antwort für jede gängige Modellgröße.

Zuletzt aktualisiert: November 2026 · Herausgeber: LibreAI · Vom LibreAI-Team · Zahlen berechnet aus den Parameterzahlen der Modelle und den veröffentlichten GGUF-Dateigrößen — die Methode steht am Ende dieser Seite

Das Wichtigste in Kürze

  1. Die Gewichte dominieren. Benötigter VRAM ≈ die Größe der Modelldatei auf der Festplatte, plus grob 10–20 % Reserve für den KV-Cache und die Puffer der Laufzeitumgebung bei Chat-Kontextlängen.
  2. Ein 8B-Modell in Q4_K_M (≈4,9 GB) ist der Einstieg — jede 8-GB-Grafikkarte führt es vollständig auf der GPU aus.
  3. Eine 24-GB-Karte (Klasse RTX 3090 / 4090) führt ein 32B-Modell in Q4_K_M mit Reserve aus; ein 70B-Modell braucht bei dieser Einstellung 48 GB oder teilweises Auslagern in den RAM.
  4. Keine GPU ist keine Sackgasse: Dieselbe Größentabelle liest sich als System-RAM für reine CPU-Läufe — langsamer, aber es funktioniert.
  5. gpt-oss-20b wurde für 16-GB-Karten gebaut; gpt-oss-120b braucht eine GPU der 80-GB-Klasse oder einen Mac mit viel Speicher.

Die kurze Antwort

Ein Sprachmodell im Speicher hat drei Teile: die Gewichte (die Modelldatei selbst), den KV-Cache (das Arbeitsgedächtnis des Modells für dein Gespräch, das mit der Kontextlänge wächst) und die Laufzeitpuffer. Im normalen Chat-Betrieb machen die Gewichte 80–95 % des Ganzen aus, also ist die Größe der Modelldatei auf der Festplatte die Zahl, mit der man beginnt. Die Quantisierung macht Heim-Hardware erst praktikabel: Jedes Gewicht mit etwa 4 Bit statt 16 Bit zu speichern, schrumpft die Datei grob auf ein Viertel, bei geringen Qualitätskosten. Jede Zahl unten ist eine echte GGUF-Dateigröße oder eine direkte Berechnung daraus.

VRAM nach Modellgröße und Quantisierung

Nur die Gewichte, in GB — die Größe der Modelldatei, die du herunterlädst. Dieselben Zahlen gelten für den System-RAM auf dem reinen CPU-Pfad. Rechne Reserve für KV-Cache und Puffer dazu (nächster Abschnitt), bevor du mit deiner Karte vergleichst.

ModellgrößeFP16Q8_0 (8 Bit)Q4_K_M (4 Bit)Q2_K (2 Bit)
~1B2,01,10,80,6
~3B6,43,42,01,3
~8B168,54,93,0
~14B30169,05,6
~32B65352012
~70B141754326
gpt-oss-20b (MoE)——≈14 (natives MXFP4)—
gpt-oss-120b (MoE)——≈65 (natives MXFP4)—

Mixture-of-Experts-Modelle wie gpt-oss speichern alle ihre Experten, daher bestimmt die volle Parameterzahl die Dateigröße, auch wenn pro Token nur ein Teil des Modells aktiv ist.

Der KV-Cache: warum Kontextlänge Speicher frisst

Der KV-Cache ist das Gedächtnis des Modells für alles bisher Gesagte, und er wächst linear mit der Kontextlänge. Ein 8B-Modell im Design von Llama 3.1 speichert bei voller Präzision etwa 0,13 MB Cache pro Token, sodass ein Gespräch mit 8.000 Token grob 1 GB hinzufügt — und ein Kontext mit 32.000 Token etwa 4 GB. Größere Modelle speichern mehr pro Token. Die meisten Laufzeitumgebungen können auch den Cache quantisieren und ihn bei geringen Qualitätskosten halbieren oder vierteln. Praktische Regel: Rechne 1–2 GB auf die Gewichte für normalen Chat, und 4 GB oder mehr, wenn du dem Modell lange Dokumente geben willst.

Was passt auf deine Grafikkarte?

„Passt“ heißt hier: Das ganze Modell bleibt bei normalem Chat-Kontext auf der GPU — die schnelle Konfiguration. Die genannten Karten sind Beispiele für jede Stufe (eine RTX 3060 hat 12 GB, eine RTX 4060 hat 8 GB, eine RTX 4090 und eine RX 7900 XTX haben 24 GB).

Dein VRAMGrößtes bequemes Setup vollständig auf der GPU
4–6 GBEin 3B-Modell in Q4_K_M; ein 8B-Modell nur mit in den RAM ausgelagerten Schichten
8 GBEin 8B-Modell in Q4_K_M — der klassische Einstiegs-Sweet-Spot
12 GBEin 8B-Modell in Q8_0 oder ein 14B-Modell in Q4_K_M
16 GBEin 14B-Modell in Q8_0 oder gpt-oss-20b in seinem nativen MXFP4
24 GBEin 32B-Modell in Q4_K_M, mit Reserve für einen langen Kontext
32 GBEin 32B-Modell in Q8_0 oder ein 70B-Modell in einer niedrigen Quantisierung der 3-Bit-Klasse
48 GBEin 70B-Modell in Q4_K_M, vollständig auf der GPU
80 GBgpt-oss-120b oder ein 70B-Modell in Q8_0

Rechenbeispiel: eine 8-GB-Karte, Schritt für Schritt

Nehmen wir einen Desktop mit einer RTX 4060 (8 GB). Du lädst ein 8B-Modell in Q4_K_M herunter: Die Datei ist 4,9 GB groß. Du lädst es in llama.cpp oder Ollama mit 8.000 Token Kontext: Der KV-Cache fügt etwa 1 GB hinzu und die Puffer einige hundert MB — insgesamt rund 6,3 GB, mit bequemer Reserve auf der Karte. Dasselbe Modell in Q8_0 (eine 8,5-GB-Datei) passt nicht vollständig, also lagert die Laufzeitumgebung einige Schichten in den System-RAM aus, und die Generierung wird spürbar langsamer. Genau dafür gibt es diese Seite: Wähle die Quantisierung, die passt, nicht die größte Datei.

Keine Grafikkarte? Der reine CPU-Pfad

Alles oben liest sich gleich, wenn man VRAM durch System-RAM ersetzt: Die Modelldatei liegt dann im RAM. Ein CPU-Lauf eines 8B-Modells in Q4_K_M braucht dieselben ~5 GB RAM für die Gewichte, plus Platz für das Betriebssystem — 16 GB Gesamt-RAM sind machbar, und 32 GB sind bequem und decken auch ein 14B-Modell in Q4_K_M ab. Die Geschwindigkeit bestimmt die Speicherbandbreite, nicht die Kernzahl: Erwarte von einer typischen Desktop-CPU bei einem 8B-Modell eine einstellige Zahl an Token pro Sekunde — gut für Zusammenfassungen, Stapelaufgaben und Arbeit über Nacht, träge für Live-Chat. Der Hybridmodus teilt den Unterschied: llama.cpp und KoboldCpp können einen Teil des Modells auf einer kleinen GPU und den Rest im RAM halten.

Apple Silicon: ein gemeinsamer Speicherpool

Macs mit M-Chips teilen sich einen einzigen Speicherpool zwischen CPU und GPU, also wird die VRAM-Spalte zum Gesamtspeicher deines Macs minus dem, was macOS und deine Apps brauchen — lasse grob ein Viertel frei. In der Praxis: Ein 16-GB-Mac führt ein 8B-Modell in Q4_K_M gut aus und ein 14B-Modell in Q4_K_M knapp; 32 GB führen ein 32B-Modell in Q4_K_M; 64 GB ein 70B-Modell in Q4_K_M; und ein 128-GB-Mac ist die Konfiguration, die gpt-oss-120b aufnimmt. Desktop-Apps wie Jan und GPT4All machen das unter macOS zu einer Zwei-Klick-Einrichtung.

Welche Laufzeitumgebung solltest du nutzen?

Steht die Größe fest, entscheidet die Laufzeitumgebung, wie das Modell geladen wird. Die Kategorie Lokale LLMs des Katalogs deckt das Feld ab; die üblichen Einstiege sind llama.cpp (die GGUF-Engine, auf der die meisten Werkzeuge aufbauen, mit der feinsten Kontrolle über Auslagerung und Cache), Ollama (Modelle mit einem Befehl, plus API), Jan und GPT4All (Desktop-Apps, CPU-freundlich), KoboldCpp (ein Einzeldatei-Runner, gebaut für hybride GPU/RAM-Setups), text-generation-webui (eine vollständige Weboberfläche), WebLLM (läuft im Browser über WebGPU, innerhalb der Speichergrenzen des Browsers) und vLLM (zum Bedienen vieler Nutzer zugleich — ein anderer Kompromiss: Durchsatz statt Heim-Anpassung). Jedes Projekt nennt auf seiner Seite seine eigenen dokumentierten Anforderungen.

Wie viel VRAM brauche ich für ein 8B-Modell?

Etwa 5 GB in Q4_K_M, 8,5 GB in Q8_0 und 16 GB in FP16 für die Gewichte; rechne grob 1–2 GB für KV-Cache und Puffer bei Chat-Kontextlängen dazu. Eine 8-GB-Grafikkarte ist das bequeme Minimum für die 4-Bit-Version und das häufigste Heim-Setup.

Reichen 8 GB VRAM für lokale LLMs?

Ja — das ist der Standard-Einstieg. Damit laufen 7–8B-Modelle in Q4_K_M vollständig auf der GPU und kleinere 1–3B-Modelle in 8 Bit oder voller Präzision. Für ein 14B-Modell reicht es nicht ohne Auslagern einiger Schichten in den System-RAM — das funktioniert, läuft aber langsamer.

Was ist das größte Modell, das ich mit 24 GB VRAM ausführen kann?

Ein 32B-Modell in Q4_K_M — etwa 20 GB Gewichte — passt vollständig, mit Reserve für einen langen Kontext. Ein 70B-Modell in Q4_K_M (etwa 43 GB) passt nicht; es braucht teilweises Auslagern in den RAM, eine niedrigere Quantisierung oder eine zweite GPU.

Kann ich ein lokales LLM ganz ohne GPU ausführen?

Ja. Auf der CPU übernimmt dein System-RAM die Rolle des VRAM, und dieselbe Größentabelle gilt — ein 8B-Modell in Q4_K_M braucht etwa 5 GB RAM für seine Gewichte. Die Generierung ist viel langsamer, typischerweise eine einstellige Tokenzahl pro Sekunde für ein 8B-Modell auf einer Desktop-CPU, aber es funktioniert, und Stapelaufgaben ist die Wartezeit egal.

Was bedeutet Q4_K_M?

Das ist ein Quantisierungsformat von GGUF: Gewichte mit grob 4 Bit pro Wert gespeichert — etwa 0,6 Byte pro Parameter, wenn man die Skalierungsfaktoren mitzählt — wobei die empfindlicheren Tensoren mit höherer Präzision gehalten werden (das „K“-Schema; „M“ ist die mittlere Größe). Es ist die Standard-Balance aus Dateigröße und Antwortqualität für Heim-Hardware und die Spalte, an der sich die meisten Leser orientieren sollten.

Macht mehr VRAM ein Modell schneller?

Nicht direkt. VRAM entscheidet, was passt; die Generierungsgeschwindigkeit kommt aus Speicherbandbreite und Rechenleistung. Extra-VRAM hilft der Geschwindigkeit nur indirekt — indem das ganze Modell und ein längerer Kontext auf der GPU bleiben, statt in den System-RAM überzulaufen.

Wie viel Speicher braucht gpt-oss-120b?

Seine MXFP4-Gewichte sind etwa 65 GB groß, also zielt es auf Datacenter-GPUs der 80-GB-Klasse oder auf einen Mac mit 96 GB oder mehr Unified Memory. Sein kleinerer Bruder gpt-oss-20b (etwa 14 GB Gewichte) wurde dafür entworfen, auf einer einzigen 16-GB-Karte zu laufen.

So werden diese Zahlen berechnet

Die Dateigrößen der Tabelle sind die veröffentlichten GGUF-Größen repräsentativer Modelle jeder Größenklasse (die Familien Llama, Qwen, Mistral und Gemma), und die FP16-Spalte ist einfach Parameterzahl × 2 Byte. Die quantisierten Größen folgen den Bytes pro Gewicht jedes Formats (Q8_0 ≈ 1,06; Q4_K_M ≈ 0,6; Q2_K ≈ 0,35 Byte pro Parameter). Die KV-Cache-Zahlen sind aus der Architektur von Llama 3.1 8B berechnet — 32 Schichten, 8 KV-Köpfe, Köpfe mit 128 Dimensionen. Auf dieser Seite werden keine Benchmark-Geschwindigkeiten zitiert, weil die Geschwindigkeit von deiner genauen Hardware, den Treibern und den Einstellungen der Laufzeitumgebung abhängt; jedes Katalogprojekt nennt seine eigenen Anforderungen auf seiner Seite. Widerspricht eine Zahl hier der Dokumentation eines Projekts, gewinnt die Dokumentation des Projekts — sag uns über die Kontaktseite Bescheid, und wir korrigieren sie.

Siehe auch: Open-Source AI Statistics 2026 — gezählt aus demselben geprüften Katalog.

AdvertisementToolNest · Free online tools146 free tools. Zero sign-ups.Calculators, converters, PDF & developer tools — right in your browser.Open ToolNest →