LLaMA Factory
im Test.

Ein Sprachmodell auf eigene Daten nachzutrainieren lohnt sich, wenn es einen bestimmten Stil, ein Fachvokabular oder ein festes Antwortformat verinnerlichen soll. Geht es dagegen um Fragen an aktuelle Dokumente, kommt eine Dokumentensuche schneller ans Ziel und braucht keine Grafikkarte. LLaMA Factory bedient den ersten Fall. Es bündelt hinter einer Oberfläche und einem Kommandozeilenwerkzeug die Bibliotheken, die du sonst selbst einbinden und aufeinander abstimmen müsstest, darunter PEFT, TRL, DeepSpeed, Megatron-core und FlashAttention-2.

Wichtigste Funktionen

• LlamaBoard, die mitgelieferte Weboberfläche: Datensatz, Modell und Trainingsverfahren wählst du in einem Formular aus und startest den Lauf per Knopfdruck. Der Trainingsfortschritt läuft als Kurve im selben Fenster mit. Dieselben Einstellungen speicherst du auch als YAML-Konfigurationsdatei und rufst sie auf der Kommandozeile über llamafactory-cli train auf.
• Sparsames Training auf einer einzelnen Karte: LoRA trainiert nur einen kleinen Zusatz aus wenigen Gewichten und lässt das Basismodell unangetastet, QLoRA legt dasselbe Verfahren auf ein in der Genauigkeit reduziertes Modell mit 2-8 Bit, und Freeze-Tuning friert den größten Teil der Schichten ein. Der Bedarf an Grafikspeicher sinkt dadurch deutlich. Laut der Tabelle im Projekt reichen für ein Modell mit 7 Milliarden Parametern (7B) mit 4-Bit-QLoRA rund 6 GB, für LoRA mit 16 Bit sind es 16 GB, und ein 14B-Modell kommt mit QLoRA auf 12 GB.
• Präferenzverfahren und Optimierer nebeneinander: Beim überwachten Nachtraining lernt das Modell aus vorgegebenen Beispielantworten. Die Präferenzverfahren DPO, KTO, PPO und ORPO arbeiten stattdessen mit der Rückmeldung, welche Antwort erwünscht ist und welche nicht, und schärfen damit Tonfall und Antwortformat. Daneben stehen Optimierer und LoRA-Varianten wie GaLore, APOLLO, Muon, BAdam, DoRA, LoRA+ und PiSSA zur Wahl.
• Über 100 Modelle: Qwen3.5 und Qwen3.6, Gemma 4, Llama 4, GPT-OSS, DeepSeek, Mistral, GLM, Phi und Granite gehören dazu, ebenso Modelle mit Bild- und Videoverständnis wie Qwen3-VL oder InternVL 3.5. Bei Qwen3, Gemma 3 und Qwen2.5-VL war die Unterstützung am Erscheinungstag fertig, bei Llama 4 einen Tag später.
• Verteiltes Training und sehr große Modelle: Seit Oktober 2025 verteilt der Unterbau Megatron-core das Training über mehrere Karten und Rechner, im Juli 2026 kam die Anbindung an Megatron-Bridge dazu. In einem eigenen Beitrag beschreibt das Projekt, wie du ein Modell mit rund 1.000 Milliarden Parametern über die KTransformers-Integration an 2 RTX-4090-Karten nachtrainierst, mit Auslagerung auf die CPU.
• Vom Datensatz zum fertigen Modell: Die Formate Alpaca und ShareGPT liest LLaMA Factory direkt, eigene Formate trägst du in einer Registrierungsdatei ein. Als Quelle dienen lokale Dateien, der Objektspeicher von Amazon (S3) und Google (GCS) sowie die Plattformen Hugging Face, ModelScope und Modelers. Nach dem Training führt ein Export-Befehl den LoRA-Adapter mit dem Basismodell zusammen, und eine mitgelieferte Schnittstelle macht das Ergebnis für den ersten Test wie einen OpenAI-Dienst ansprechbar.

Preise und Tarife

Der Code steht unter Apache-2.0 und kostet nichts, auch bei kommerzieller Nutzung. Die Rechnung schreibt die Hardware. Für einen ersten LoRA-Lauf an einem 7B-Modell genügt laut Projekttabelle eine Karte mit 16 GB Grafikspeicher, mit 4-Bit-QLoRA sinkt der Bedarf auf rund 6 GB, während vollständiges Nachtraining desselben Modells etwa 60 GB verlangt und damit auf Rechenzentrumshardware angewiesen ist.

Achte zusätzlich auf die Lizenz der Modellgewichte, denn Apache-2.0 deckt nur den Code des Werkzeugs ab. Llama und Gemma etwa bringen eigene Bedingungen mit, die die kommerzielle Nutzung einschränken können.

Wer keine eigene Karte anschaffen will, mietet Rechenzeit auf einem GPU-Server, in Europa etwa bei Hetzner oder Verda. Die Monats- und Stundenpreise dieser Anbieter sind Nettoangaben, zu denen die Umsatzsteuer noch hinzukommt.

Für wen ist LLaMA Factory geeignet?

• Unternehmen mit eigenem Fachvokabular: Für Prüfberichte, Gutachten oder Angebotstexte in einer festen Form kommst du mit einem auf eigenen Beispielen trainierten Modell weiter als mit immer längeren Anweisungen im Prompt. Ein 7B-Modell mit QLoRA auf einer einzelnen Karte reicht für den ersten Versuch.
• Teams, die ohne Python einsteigen wollen: Über LlamaBoard läuft ein erster Trainingslauf mit wenigen Klicks. Seit Juni 2026 liegt im Repository zusätzlich eine Anleitung für KI-Programmierassistenten bei, die in 6 bestätigungspflichtigen Schritten durch Datensatz, Modellwahl, Konfiguration, Training, Prüfung und Export führt. Verteiltes Training über mehrere Karten verlangt trotzdem einen Blick in die Dokumentation.
• Forschungsgruppen und Teams für maschinelles Lernen: Wer DPO gegen KTO stellen oder Optimierer wie Muon und GaLore vergleichen will, findet sie hier in einem Werkzeug beisammen, ohne für jedes Verfahren ein eigenes Projekt aufzusetzen. Für die KI-Beschleuniger von Huawei (Ascend) und für AMD-Karten (ROCm) liefert das Projekt eigene Docker-Images, und Trainingsläufe protokolliert es wahlweise mit TensorBoard, MLflow oder SwanLab.

DSGVO und Datenschutz

Das Training läuft vollständig auf eurer eigenen Hardware. Einen Anbieter, der als Auftragsverarbeiter auftreten müsste, gibt es nicht, denn LLaMA Factory ist Code unter Apache-2.0 und kein gehosteter Dienst. Das Projekt selbst erhebt keine Nutzungsdaten.

Im Auslieferungszustand entstehen trotzdem Verbindungen nach außen. Modelle und öffentliche Datensätze lädt LLaMA Factory von Hugging Face herunter, auf Wunsch von den chinesischen Plattformen ModelScope und Modelers; eure Trainingsdaten fließen dabei nicht ab, wohl aber die Information, welches Modell ihr zieht. Die Weboberfläche baut auf Gradio auf, und Gradio meldet beim Start ohne Zutun Nutzungsdaten an api.gradio.app. Abschalten kannst du das über die Umgebungsvariable GRADIO_ANALYTICS_ENABLED=False.

Dieselbe Oberfläche ist ab Werk von jedem Rechner im Netz erreichbar, an Port 7860, und verlangt kein Passwort. Setz eine Anmeldung davor oder binde die Oberfläche über GRADIO_SERVER_NAME an die lokale Adresse 127.0.0.1. Die Anbindungen an Weights & Biases und SwanLab sind aus und werden erst durch einen Eintrag in der Konfiguration aktiv.

Für Trainingsdaten mit Personenbezug ist LLaMA Factory damit tragfähig. Vor dem produktiven Einsatz schaltest du die Nutzungsmeldung der Oberfläche ab und sicherst den Port. Die Lizenz der gewählten Modellgewichte liest du im selben Zug.

Alternativen zu LLaMA Factory

• Unsloth: Trainiert auf einer einzelnen Karte schneller und mit weniger Grafikspeicher, deckt dafür weniger Trainingsverfahren ab. Eine Weboberfläche gehört seit März 2026 dazu.
• Unsloth Studio: Die Weboberfläche desselben Projekts, einsteigerfreundlicher als LlamaBoard. Verteiltes Training über mehrere Rechner fehlt dort.
• AnythingLLM: Durchsucht eure Dokumente zur Laufzeit und kommt ohne Training aus. Dafür brauchst du keine Grafikkarte, und neue Dokumente wirken sofort.