RAG-System aufsetzen: Werkzeuge und Schritte für den Einstieg

Ein Steuerberater will seine Mandanteninformationen durchsuchbar machen. In einem Produktionsbetrieb sollen Techniker Handbücher im Chat abfragen, ein Handelsunternehmen will sein Produktwissen für den Vertrieb bündeln. Die 3 Fälle sehen verschieden aus und brauchen dieselbe Technik, ein RAG-System.

Wie das Verfahren arbeitet, steht im Artikel RAG AI: Wie du der KI dein Firmenwissen beibringst. Hier geht es um die Bausteine, die Werkzeuge und die Reihenfolge, in der du sie zusammensetzt.

Ein Sprachmodell kennt deine Handbücher nicht

Qwen 3.6, Gemma 4 und GPT-5.6 kennen ihre Trainingsdaten und sonst nichts. Fragst du nach der Wartungsvorschrift für eine Anlage aus deiner Fertigung, bekommst du eine Antwort, die plausibel klingt und erfunden ist. Halluzination heißt dieser Fall im Fach.

RAG ist die Abkürzung für Retrieval Augmented Generation. Das Verfahren stellt dem Modell vor jeder Antwort die passenden Stellen aus deinen eigenen Dokumenten zur Verfügung. Statt zu raten, schlägt das Modell nach.

Die 4 Stationen, die jedes RAG-System hat

Diese 4 Stationen laufen in jedem System, egal ob du eine fertige Plattform nimmst oder selbst baust. Der Unterschied liegt darin, wie viel du an ihnen einstellen kannst.

Aus PDF, Word und Scans wird Text

Ein Sprachmodell kann mit einer PDF-Datei in ihrer Rohform wenig anfangen. Vor allem anderen werden Dokumente deshalb in strukturierten Text umgewandelt.

Docling von IBM ist dafür das Werkzeug unserer Wahl. Es liest PDF, DOCX, PPTX, XLSX, HTML sowie Audio- und Videodateien und schreibt Markdown daraus. Tabellen bleiben Tabellen, das Layout wird erkannt. Bei digitalen PDFs, die am Rechner entstanden sind, umgeht Docling die Texterkennung ganz und liest den Text direkt aus der Dateistruktur, was schneller geht und weniger Fehler macht. Seit Version 2.80 vom März 2026 bringt es mit Granite-Docling-258M ein eigenes Modell mit, das Diagramme, Tabellen, Formulare, Programmcode und Formeln in einem Durchlauf erfasst. IBM gibt an, dass dieser Weg schneller arbeitet und weniger Fehler produziert als die bisherigen festen Regeln.

Gescannte Verträge, fotografierte Rechnungen und handschriftliche Notizen brauchen echte Texterkennung. GLM-OCR von Zhipu AI erkennt gedruckten Text, Tabellen, Formeln und Handschrift, hat nur 0,9 Milliarden Parameter, steht unter Apache 2.0 und läuft über Ollama auf dem eigenen Rechner.

Wer fast nur Word, PowerPoint und Excel verarbeitet, kommt mit MarkItDown von Microsoft aus. Es arbeitet im Arbeitsspeicher, legt keine Zwischendateien an und liefert Markdown mit ausgerichteten Tabellen.

from docling.document_converter import DocumentConverter
source = "pfad/zu/deinem/dokument.pdf"
converter = DocumentConverter()
result = converter.convert(source)
print(result.document.export_to_markdown())

Das Embedding-Modell entscheidet, was überhaupt gefunden wird

Damit die Suche nach Bedeutung statt nach exakten Wörtern läuft, wird jeder Textabschnitt in eine lange Zahlenreihe übersetzt. Diese Reihe nennt sich Vektor, das Modell, das sie erzeugt, Embedding-Modell. Texte mit ähnlichem Inhalt bekommen ähnliche Zahlenreihen, und darüber findet das System später die Stelle, die zur Frage passt, auch wenn dort andere Wörter stehen.

Für rein deutschsprachige Bestände nehmen wir deepset-mxbai-embed-de-large-v1. Es ist nach Angaben von deepset auf über 30 Millionen deutschen und englischen Textpaaren trainiert, hat 335 Millionen Parameter und läuft auf normaler Hardware ohne Grafikkarte.

Qwen3-Embedding steht auf dem MTEB-Leaderboard für mehrsprachige Modelle mit 70,58 Punkten auf Platz 1, deckt über 100 Sprachen ab und ist in 0,6, 4 und 8 Milliarden Parametern über Ollama zu haben. Es ist die stärkere Wahl, sobald mehrere Sprachen im Bestand liegen oder genug Rechenleistung bereitsteht.

Beide Modelle rechnen auf dem eigenen Server, die Dokumente bleiben dort liegen.

Nach der Suche lohnt sich eine zweite Runde. Ein Nachsortierer, im Fach Reranker genannt, bewertet die gefundenen Stellen noch einmal einzeln und ordnet sie nach ihrer Passung zur Frage. Das Embedding-Modell liefert schnell 20 Kandidaten, der Nachsortierer bringt die 3 bis 5 nach oben, auf die es ankommt. Qwen3-Reranker ist dafür derzeit die beste offene Wahl, ebenfalls in 3 Größen über Ollama. Dify und RAGFlow schalten ihn in der Oberfläche dazu.

Wo die Vektoren liegen

Die erzeugten Zahlenreihen brauchen eine Datenbank, die auf sie ausgelegt ist.

ChromaDB ist schlank, hat eine Schnittstelle mit 4 Kernfunktionen und reicht für erste Versuche und Bestände unter 10 Millionen Vektoren. Es lässt sich direkt aus Python ansprechen und arbeitet mit LangChain und LlamaIndex zusammen.

Qdrant ist in Rust geschrieben und bleibt unter Last stabil. Es beherrscht die kombinierte Suche aus Bedeutung und Stichwort, die in der Praxis bessere Treffer liefert als die Bedeutungssuche allein. Seit Version 1.16 vom März 2026 lassen sich mehrere Mandanten in einer Datenbank führen und einzelne davon im laufenden Betrieb auf eigene Speicherbereiche umziehen. Entwickelt wird Qdrant von der Qdrant Solutions GmbH in Berlin.

Das Sprachmodell schreibt die Antwort

Am Ende steht das Modell, das aus den gefundenen Passagen Sätze macht. Über Ollama läuft es auf dem eigenen Rechner.

Qwen3.6-35B-A3B rechnet je Anfrage mit 3 seiner 35 Milliarden Parameter und passt damit auf eine Karte mit 24 GB Grafikspeicher. Gemma 4 schreibt das beste Deutsch unter den offenen Modellen und passt zu Beständen, die auf Deutsch geführt werden. Mistral Small 4 kommt aus Frankreich, steht unter Apache 2.0 und wertet neben Text auch Bilder in den Dokumenten aus. Was diese Modelle im Alltag leisten, steht in Ollama in Unternehmen.

GPT-5.6 von OpenAI und Claude Opus 5 von Anthropic antworten bei verschachtelten Fragen oft besser, dafür gehen die Daten an einen externen Server. In Dify lässt sich beides nebeneinander betreiben und je Ablauf festlegen, welches Modell eine Anfrage bekommt. Sensible Vorgänge bleiben dann lokal, unkritische gehen in die Cloud.

3 Wege, die zu einem laufenden System führen

Weg 1, der Schnellstart mit AnythingLLM

AnythingLLM bringt alles mit, die Vektordatenbank LanceDB, das Embedding und die Chat-Oberfläche. Du startest den Docker-Container, lädst deine Dokumente hoch und stellst die erste Frage.

Version 1.11 vom März 2026 hat 2 Neuerungen gebracht. Der volle Dokumentkontext versucht zuerst, den kompletten Text zu verwenden, und greift erst danach auf die Vektorsuche zurück. Und der überarbeitete Werkzeugaufruf funktioniert jetzt auch mit kleineren lokalen Modellen.

Die Grenze zeigt sich, sobald die Antworten nicht genau genug sind. An Textblockgröße und Suchverhalten lässt sich hier wenig drehen, und damit fehlen die Stellschrauben zum Nachbessern.

Weg 2, der Baukasten in Dify

Dify baut die Strecke als Ablaufdiagramm zusammen, ohne dass du Code schreibst. Die eingebaute Wissenssammlung lässt dich die Zerlegung in Textblöcke einstellen, wahlweise gleichmäßig, als Eltern-Kind-Struktur oder als Frage-Antwort-Paare, dazu die kombinierte Suche und das Nachsortieren. Verschiedene Anbieter laufen nebeneinander, Ollama für die lokalen Modelle, OpenAI oder Anthropic für die Cloud.

Seit Februar 2026 gibt es einen Halt für einen Menschen im Ablauf. An einer festgelegten Stelle pausiert die Strecke, bis jemand die Ausgabe geprüft und freigegeben hat. Bei Verträgen und medizinischen Daten ist das der Schritt, ohne den ein Ablauf nicht in den Betrieb geht.

Dify ist eine Entwicklungs- und Steuerungsplattform. Für eine ausgefeilte Oberfläche, an der am Ende die Belegschaft sitzt, kommt eine eigene Anwendung davor.

Weg 3, der Eigenbau

LangChain oder LlamaIndex zusammen mit Qdrant und Docling geben dir jeden Schritt einzeln in die Hand, von der Zerlegung in Textblöcke über das Nachsortieren bis zur kombinierten Suche. Wenn die Treffer besonders genau sein müssen, lohnt ein Blick auf LightRAG. Es legt zusätzlich einen Wissensgraphen an, der festhält, welche Begriffe miteinander zu tun haben, und findet dadurch Zusammenhänge, die eine reine Ähnlichkeitssuche übersieht.

Der Preis dafür sind Python-Kenntnisse im Team und die laufende Wartung.

Womit wir in Projekten arbeiten

Alles davon rechnet auf dem eigenen Server, die Dokumente bleiben im Unternehmen. Der Baukasten von Dify lässt auch Leute ohne Programmierkenntnisse an den Abläufen arbeiten, und der Weg vom ersten Versuch zum Dauerbetrieb kommt ohne Werkzeugwechsel aus. Wo eine Anfrage mehr Qualität braucht, als das lokale Modell liefert, kommt für diesen einen Ablauf ein Cloud-Modell dazu.

Welche Hardware darunter gehört, steht in der Kaufberatung für lokale KI. Für ein kleines Team reicht ein Rechner mit einer RTX 5090 und 32 GB Grafikspeicher. Wer nichts anschaffen will, mietet bei Hetzner einen Server mit 20 GB Grafikspeicher für 276,44 Euro im Monat.

Woran eine RAG-Einrichtung scheitert

Dokumente ohne Aufbereitung in die Strecke zu geben, ist der häufigste Fehler. Aus Tabellen wird Textsalat, Spalten laufen ineinander, Fußnoten landen mitten im Absatz. Was danach in der Datenbank liegt, kann keine Suche wieder geradeziehen.

Zu große Textblöcke sind der zweite. Auswertungen vom Februar 2026 kommen auf 400 bis 512 Token je Block mit 10 bis 20 % Überlappung und erreichen damit 85 bis 90 % Trefferquote. Ein Block mit 2.000 Wörtern schleppt so viel Beiwerk mit, dass die eigentliche Stelle darin untergeht.

Wer nur nach Bedeutung sucht, verliert die Fachbegriffe. Die Bedeutungssuche findet inhaltlich ähnliche Texte, aber eine Teilenummer oder eine Norm sucht sie nicht wörtlich. Die kombinierte Suche aus Bedeutung und Stichwort fängt das ab, Qdrant und Dify beherrschen sie ab Werk.

Ohne Nachsortieren liegen dem Modell alle gefundenen Stellen gleichwertig vor, und die beste steht vielleicht an Position 12. Ein Nachsortierer wie Qwen3-Reranker kostet wenig Rechenzeit und hebt die Antwortqualität deutlich.

Und wer sofort auf ein Cloud-Modell umsteigt, weil die Antworten nicht überzeugen, kuriert das falsche Ende. Liegt es an der Aufbereitung oder an der Blockgröße, ändert das teurere Modell daran nichts.

Was ein RAG-System im Unternehmensalltag leistet

Im technischen Kundendienst und in der Instandhaltung liegt der Nutzen am nächsten. Jemand hat eine Frage zu Gerät X, das Handbuch ist ein PDF mit 300 Seiten, und der Kollege, der sich auskennt, ist auf Montage. Ein System, das alle Handbücher, Serviceunterlagen und internen Anweisungen kennt, beantwortet die Frage in Sekunden und nennt die Seite dazu.

In Kanzleien, Notariaten und Unternehmen mit großem Vertragsbestand geht es um Fragen wie “Welche unserer Verträge haben eine Kündigungsfrist unter 3 Monaten?”. Wer das früher wissen wollte, hat einen Nachmittag lang Ordner durchgesehen.

Bei der Einarbeitung neuer Kollegen ersetzt das System die Rückfrage am Nachbarschreibtisch. Prozessbeschreibungen, Richtlinien und Qualitätshandbücher liegen in der Wissenssammlung, und die Frage danach kostet niemanden sonst Zeit.

Im Vertrieb mit großem Sortiment beantwortet ein interner Chat die Routinefragen zu Produkteigenschaften, Verfügbarkeiten und Lieferbedingungen, bevor sie beim Innendienst landen.

Bis aus dem Docker-Container ein Alltagswerkzeug wird, fehlen danach die unspektakulären Teile, nämlich Zugriffsrechte, die zur Ablage passen, und jemand, der neue Dokumente einpflegt und die Antwortqualität im Blick behält.

Ohne Messung weiß niemand, ob eine Änderung geholfen hat

Ein System, das in den Betrieb geht, braucht 3 Größen, an denen sich seine Qualität ablesen lässt.

Die erste ist die Trefferqualität. Findet das System zu einer Frage die richtige Stelle? Das prüfst du mit 20 bis 30 typischen Fragen aus dem eigenen Alltag, zu denen die richtige Antwort bekannt ist, und schaust nach, ob die passenden Passagen dabei waren.

Die zweite ist die Antwortqualität. Deckt sich die Antwort mit dem Quelldokument, sind die Zahlen richtig übernommen, ist nichts dazugekommen? Langfuse protokolliert zu jeder Anfrage, welche Quellen herangezogen wurden, steht unter MIT-Lizenz und macht damit sichtbar, wo das Modell frei erfunden hat. Seit Anfang 2026 lassen sich Kommentare an einzelne Stellen im Protokoll heften, was die Fehlersuche verkürzt.

Die dritte ist die Nutzung. Wie oft wird gefragt, wie werden die Antworten bewertet, welche Fragen kommen immer wieder? Daran siehst du, ob die Leute mit dem System arbeiten oder ob sie wieder anfangen, sich gegenseitig anzurufen.

Der Aufbau ist das Kleinere

Mit AnythingLLM steht das erste System an einem Vormittag. Wer mehr Kontrolle braucht, nimmt Dify, und wer die Bausteine einzeln zusammenstellen will, baut mit LangChain oder LlamaIndex. Für den Einsatz im Team müssen Zuständigkeiten für Datenpflege, Zugriffsrechte und Betrieb feststehen.