Normaler Entwicklungsrechner
Mit 16 GB RAM ist ein 7B-Modell in 4-Bit-Quantisierung ein vernünftiger Start für kleine Funktionen, Erklärungen und Testentwürfe. CPU-Betrieb geht, eine passende GPU macht die Nutzung angenehmer.
Erst die Aufgabe, dann das Modell
Kleine Auswahl statt RanglisteMehr Dateien, mehr Reserve
Für 14B bis 30B sind eher 24 bis 48 GB RAM oder eine GPU mit ausreichend VRAM sinnvoll. Für Repo-Fragen relevante Dateien suchen und zuführen; ein großes Kontextfenster liest das Repository nicht von allein.
Ein klarer Arbeitsauftrag
Fehlermeldung, betroffene Dateien und gewünschtes Verhalten mitgeben. Kleine Diffs anfordern, Änderungen lesen und Tests ausführen. Agenten brauchen zusätzlich einen lokalen Client mit Datei- und Werkzeugzugriff.
Modelle für die Praxis
So sind die Angaben gemeint: RAM ist eine Empfehlung für den gesamten Rechner bei CPU- oder Unified-Memory-Betrieb. VRAM ist eine separate Schätzung für vollständige GPU-Ausführung. Beides nicht einfach addieren. Bei GPU-Offloading wird Arbeit auf beide Speicher verteilt.
Die Speicher-Richtwerte gelten für die genannte 4-Bit-Variante, einen Nutzer und den angegebenen kleinen Kontext. Modellgewichte, Kontext-Cache und Laufzeitpuffer brauchen Platz; IDE, Betriebssystem, größere Kontexte und parallele Anfragen benötigen weitere Reserve. Q5 braucht mehr Speicher. Die Angaben sind Planungswerte, keine hier gemessenen Anforderungen.
Die Praxisurteile und Sprach-Auswahl sind redaktionelle Einschätzungen auf Basis der verlinkten Dokumentation, keine eigenen Modelltests. Die Sprachen sind typische Startpunkte, keine zugesicherte Rangfolge. Auch bewusst ältere, leicht lokal betreibbare Modelle sind dabei.
Modellauswahl wird geladen …
Der lokale Werkzeugkasten
Vom Desktop bis zum FirmennetzOllama
Einfacher Start per Kommandozeile und lokaler API. Die Befehle auf den Karten laden lokale Modellpakete; der erste Download benötigt Internet. Den Kontext bewusst klein einstellen und bei rein lokalem Betrieb Cloud-Funktionen deaktivieren.
LM Studio
Oberfläche für Modellauswahl, lokalen Chat und einen lokalen API-Server. Eine passende GGUF-Variante und Kontextlänge wählen. Nach dem Download können Chat, Dokumentverarbeitung und Server offline arbeiten.
llama.cpp
Direkter GGUF-Betrieb auf CPU, GPU oder mit gemischter Ausführung. Gut, wenn Kontext, Quantisierung und Offloading selbst kontrolliert werden sollen. Aktuellen Build und das richtige Chat-Template verwenden.
vLLM
Eher für einen GPU-Server im Firmennetz und mehrere Anfragen geeignet. Modellformat, Quantisierung, Tool-Parser und Parallelität separat planen. Die GGUF-Speicherwerte der Karten sind keine vLLM-Zusage.
Lokal heißt: den gesamten Weg lokal halten
Alle elf Modellgewichte lassen sich lokal betreiben. Für vertraulichen Code müssen auch IDE-Erweiterung, Chat-Endpunkt, Repo-Suche und gegebenenfalls Embedding-Modell lokal bleiben. Cloud-Fallbacks, Online-Werkzeuge, Telemetrie und Protokollierung bewusst konfigurieren.
Im Firmennetz den Modellserver nur für berechtigte Nutzer erreichbar machen und Zugriff sowie Logs nach den eigenen Vorgaben regeln. Mehrere Nutzer erhöhen den Speicherbedarf. Die Modelllizenz und die Lizenz des gewählten Tools sind getrennte Fragen.
Die Angaben beschreiben Möglichkeiten des lokalen Betriebs; sie sind keine pauschale Zusage für jede Installation. Hintergrund: Ollama-FAQ und LM Studio offline.