llama.cpp
im Test.

Der direkte Weg zu llama.cpp führte jahrelang über das Übersetzen des Quellcodes auf dem eigenen Rechner, samt den passenden Entwicklungswerkzeugen für die Grafikkarte. Seit Mai 2026 steht unter llama.app ein Installationsbefehl je Betriebssystem bereit, der die vorhandene Hardware abfragt und die dazu passende Programmdatei lädt. Danach startet llama cli den Chat im Terminal und llama serve die HTTP-API. Die Feinsteuerung über Quantisierung, Kontextgröße und Verteilung auf die Grafikkarte bleibt dabei erhalten, und wer ein neues GGUF-Modell am Tag seines Erscheinens testen oder eine ungewöhnliche Grafikkarte ansprechen will, greift weiterhin unmittelbar zu llama.cpp.

Wichtigste Funktionen

• GGUF-Format: llama.cpp hat GGUF als Standard für quantisierte Modelle etabliert, also für Modelle, deren Gewichte gröber gespeichert werden und dadurch weniger Speicher belegen. Von 1,5 Bit bis 8 Bit deckt das Format jede gängige Stufe ab. Für den Einstieg empfehlen wir Q4_K_M als Kompromiss aus Antwortqualität und Speicherbedarf.
• 17 Backends für unterschiedliche Hardware: Die Liste reicht von CUDA für NVIDIA über HIP und ROCm bei AMD, Metal auf Apple Silicon und SYCL an Intel-Grafik bis zu Vulkan als Rückfallebene für ältere Karten, dazu kommen CPU-Pfade über die Befehlssätze AVX-512 und AMX. Bei AMD-Karten oder gemischter Hardware kommt llama.cpp damit weiter als Ollama, das denselben Kern nutzt, aber weniger Backends durchreicht.
• Router-Modus für mehrere Modelle: Startest du den Server ohne Modellangabe, arbeitet er als Router, findet die GGUF-Dateien im angegebenen Ordner und lädt das jeweils angefragte Modell selbst nach. Bis zu 4 Modelle hält er gleichzeitig im Speicher und räumt ältere heraus. Ein Endpunkt genügt damit fürs Chatten, für die Vektoren, mit denen eigene Dokumente durchsuchbar werden, und fürs Nachsortieren der Treffer.
• Eingebaute Weboberfläche: Sie steckt im Programm, läuft unter http://localhost:8080 und braucht keinen weiteren Dienst. Bilder, PDF und Audio übergibst du an passende Modelle, Gesprächsverläufe verzweigst du und führst sie wieder zusammen. Formeln und Quelltext zeigt die Oberfläche formatiert an.
• Agentenfunktionen im Server: Mit --agent schaltet llama-server seine eingebauten Werkzeuge frei, darunter Dateien lesen und schreiben, Ordner durchsuchen und Shell-Befehle ausführen. Seit Juli 2026 bindest du den Server zusätzlich an externe MCP-Server an, also an die offene Schnittstelle, über die Modelle fremde Werkzeuge ansprechen. Ab Werk ist beides abgeschaltet, und die Dokumentation rät ausdrücklich davon ab, es in ungesicherten Umgebungen einzuschalten.
• Spekulatives Dekodieren: Ein kleines Entwurfsmodell schlägt die nächsten Token vor, das große prüft sie im Block nach. llama.cpp beherrscht dafür inzwischen EAGLE3, MTP, DFlash und DSpark. Ob und wie viel das bringt, hängt vom Modellpaar ab. llama bench misst den Unterschied.

Preise und Tarife

Die Software kostet nichts. Die MIT-Lizenz erlaubt den kommerziellen Einsatz ohne Auflagen, es gibt weder einen Bezahltarif noch ein Nutzungslimit.

Bezahlt wird die Hardware. Ein Modell mit 8 Milliarden Parametern belegt in 4-Bit-Quantisierung rund 5 GB und passt damit auf eine Grafikkarte mit 8 GB Videospeicher. Auf einer CPU mit 16 GB Arbeitsspeicher läuft dieselbe Größe ebenfalls, nur deutlich langsamer. Welche Werte für deine Karte gelten, rechnet llama fit-params aus.

Dazu kommen Strom und die Arbeitszeit für Einrichtung und Pflege, die bei kleineren Installationen den größten Posten ausmacht. Für die Software selbst fällt kein Betrag an, weder netto noch brutto. Was ihr an Hardware einkauft, wird euch im Handel netto angeboten, die Umsatzsteuer kommt auf der Rechnung noch hinzu.

Für wen ist llama.cpp geeignet?

• IT-Abteilungen, die einen internen Modell-Endpunkt betreiben: llama serve spricht das OpenAI-Format, sodass vorhandene Anwendungen nur eine andere Adresse brauchen. Der Router-Modus erspart es, für jedes Modell einen eigenen Dienst zu pflegen.
• Firmen mit AMD-Karten, Intel-Beschleunigern oder älterer Hardware: Über Vulkan, ROCm und SYCL läuft llama.cpp auf Geräten, die andere Inferenz-Programme nicht bedienen. Das macht vorhandene Arbeitsplatzrechner und ausgemusterte Server noch einmal nutzbar.
• Kanzleien, Praxen und Behörden mit engen Vorgaben: Es gibt kein Anbieterkonto und keinen Vertrag, der geprüft werden müsste. Für Mandanten-, Patienten- und Personaldaten entfällt damit die Prüfung eines externen Anbieters.

DSGVO und Datenschutz

Die gesamte Verarbeitung läuft auf eurer eigenen Hardware. Das Projekt erhebt keine Telemetrie und verlangt weder ein Konto noch einen Herstellerschlüssel. Auf llama.app steht das ausdrücklich so.

Der Server bindet sich ab Werk an 127.0.0.1, ist also zunächst nur auf dem Gerät selbst erreichbar. Gibst du ihn im Netz frei, sicherst du ihn mit --api-key ab. Die Weboberfläche ist in die Programmdatei eingebettet und lädt nichts von fremden Servern nach.

Jede Verbindung ins Internet startet mit einem Befehl von dir. Der Aufruf -hf holt ein Modell von Hugging Face, über die Umgebungsvariable MODEL_ENDPOINT sprichst du stattdessen einen internen Spiegel an. Das Installationsskript und llama update laden die Programmdateien ebenfalls von Hugging Face. Wer keinen Weg ins offene Netz zulassen will, übersetzt den Quellcode weiterhin selbst.

Seit dem 20.02.2026 gehört ggml.ai zu Hugging Face, einem US-Unternehmen. Am Betrieb ändert das nichts und die Lizenz bleibt MIT, die voreingestellte Bezugsquelle für Modelle und Programmdateien liegt damit aber bei einem US-Anbieter.

Einen Auftragsverarbeitungsvertrag nach Artikel 28 DSGVO brauchst du hier nicht, weil es keinen Auftragsverarbeiter gibt. Deine Aufgabe bleibt die Lizenz des Modells, das du lädst, denn sie hat mit der MIT-Lizenz von llama.cpp nichts zu tun und verlangt eine eigene Prüfung. Mit den Agentenfunktionen bekommt das Modell zusätzlich Lese-, Schreib- und Ausführungsrechte auf dem Server. Das gehört in einen abgeschotteten Bereich.

Alternativen zu llama.cpp

• Ollama: Nutzt llama.cpp als Unterbau und verpackt es in eine Modell-Bibliothek mit einem einzigen Installationsschritt. Für erste Versuche und Prototypen die bequemere Wahl, im Dauerbetrieb fehlen die Stellschrauben von llama.cpp.
• LM Studio: Grafische Oberfläche für den Arbeitsplatz, mit llama.cpp für GGUF-Modelle und auf Apple Silicon zusätzlich mit Apples MLX. Angenehmer beim Ausprobieren, dafür ist die Anwendung selbst proprietär.
• vLLM: Für GPU-Server mit vielen gleichzeitigen Zugriffen, mit höherem Durchsatz durch PagedAttention und die fortlaufende Bündelung eingehender Anfragen. Braucht dafür echte Server-Grafikkarten, auf der CPU allein ist es keine Option.