RAG AI: Wie du der KI dein Firmenwissen beibringst

Ein Servicetechniker steht an der Anlage, tippt seine Frage ins Tablet und liest 2 Sekunden später die Antwort mitsamt der Seitenzahl aus dem Handbuch. Im Vertrieb findet jemand in 5.000 Dokumenten das eine Angebot, das zum Fall passt. Im Kundenservice beantwortet jemand eine Rückfrage, ohne dafür 10 Ordner zu öffnen. Das läuft heute, ohne Programmierkenntnisse, ohne Cloud und ohne sechsstelliges Budget.

Dafür muss das Sprachmodell an dein Firmenwissen kommen. Es gibt 2 Verfahren, und sie unterscheiden sich darin, wo das Wissen am Ende liegt.

Beim Nachtrainieren wandert das Wissen ins Modell

Fine-Tuning heißt das im Fach. Ein fertiges Modell bekommt so lange zusätzliche Beispiele aus deinem Unternehmen vorgelegt, bis es deren Sprache und Inhalte übernommen hat. Danach steckt dein Wissen in den Gewichten des Modells, und es braucht keine weitere Quelle mehr.

Der Aufwand steckt in der Vorbereitung. Die Beispiele müssen als Paare aus Frage und gewünschter Antwort vorliegen, jemand muss sie zusammenstellen und durchsehen, und das Training selbst belegt Grafikkarten über Stunden bis Tage. Danach hast du ein Modell, das nur deinem Unternehmen gehört.

Das trifft den Wortlaut deiner Fachabteilung genauer als jedes allgemeine Modell. Für Fakten, die sich ändern, taugt es trotzdem selten. Der Wissensstand friert am letzten Trainingstag ein. Ändern sich morgen die Preise, wird nachtrainiert, und das kostet Rechenzeit und Tage. Weiß das Modell etwas nicht, schlägt es nirgends nach, sondern erfindet eine Antwort, die überzeugend klingt.

Für einen festen Schreibstil oder für Spezialwissen, das über Jahre gleich bleibt, ist Nachtrainieren der richtige Weg. Für laufende Zahlen, Preise und Vorschriften rechnet es sich in unseren Projekten nicht.

Bei RAG bleibt das Wissen in deinen Dokumenten

RAG ist die Abkürzung für Retrieval Augmented Generation. Das Modell bekommt kein zusätzliches Training. Stattdessen sucht ein Programm vor jeder Antwort die Stellen aus deinen Dokumenten heraus, die zur Frage passen, und legt sie dem Modell zusammen mit der Frage vor.

Einen praktischen Einstieg beschreibt die Anleitung für ein erstes RAG-System.

Die Suche läuft über die Bedeutung statt über die Buchstaben

Steht im Handbuch “Anzugsdrehmoment” und der Monteur sucht nach “festschrauben”, findet eine normale Textsuche nichts. RAG braucht deshalb eine Suche, die Bedeutung vergleicht.

Dafür wird jeder Textabschnitt in eine lange Zahlenreihe übersetzt, einen Vektor. Diese Reihe beschreibt, wovon der Abschnitt handelt. Abschnitte über Schrauben, Befestigung und Drehmoment bekommen ähnliche Zahlenreihen, ein Abschnitt über Lackierung eine völlig andere. Die Frage des Monteurs wird auf demselben Weg übersetzt, und das System liefert die Abschnitte, deren Zahlenreihen der Frage am nächsten liegen. “Wie fest muss die Mutter sein?” landet damit beim Eintrag “Anzugsdrehmoment 50 Nm”, obwohl kein einziges Wort übereinstimmt.

Voraussetzung ist, dass die Dokumente sich überhaupt in Abschnitte zerlegen lassen. Wie du sie dafür ablegst, steht in Markdown-Dateien: Wissensmanagement für KI.

In der Praxis läuft die Bedeutungssuche fast immer zusammen mit einer klassischen Stichwortsuche. Diese Kombination fängt beides ab, den Fachbegriff, der exakt getroffen werden muss, und die Umschreibung, die inhaltlich dasselbe meint. Dify und Qdrant beherrschen sie ab Werk.

Die Übersetzung in Vektoren übernimmt ein eigenes Modell, das Embedding-Modell. Qwen3-Embedding liefert seit März 2026 auch für deutsche Texte gute Ergebnisse und lässt sich über Ollama auf dem eigenen Rechner betreiben.

Was bei einer Frage nacheinander passiert

Der Monteur tippt “Wie fest muss die Mutter an der Hauptachse beim X-200?” in sein Tablet. Danach arbeiten 2 Programme mit getrennten Aufgaben.

Zuerst die Vektordatenbank. Eine Vektordatenbank speichert keine Tabellen mit Spalten, sondern Zahlenreihen, und ihre einzige Aufgabe ist, zu einer eingehenden Zahlenreihe die nächstgelegenen im Bestand zu finden. Dort liegt dein Firmenwissen. Sie vergleicht die Frage mit ihrem Bestand und zieht den einen Absatz von Seite 42 heraus, in dem “Anzugsdrehmoment Hauptwellenverschraubung: 50 Nm” steht. Diese Datenbank steht auf deinem Server und gibt nur den gefundenen Absatz weiter. Sätze bilden kann sie nicht.

Dann das Sprachmodell, etwa Gemma 4 oder Qwen3.8. Es hat dein Handbuch nie gesehen und speichert es auch nicht. Es bekommt in diesem Moment den gefundenen Absatz und die Frage, und daraus formuliert es die Antwort: “Für die Hauptachse am Modell X-200 wird ein Anzugsdrehmoment von 50 Nm benötigt, siehe Handbuch Seite 42.”

Warum die Trennung von Wissen und Sprache zählt

Das Sprachmodell behält nichts. Es verarbeitet den Absatz für diese eine Antwort, danach ist er weg, und dein Bestand bleibt in der Datenbank. Welche Ordnung er dafür braucht, steht in Warum die beste KI an deiner Ablage scheitert.

Findet die Datenbank nichts, bekommt das Modell nichts vorgelegt und kann entsprechend wenig erfinden. Das senkt die Zahl der frei erfundenen Antworten deutlich, auch wenn es sie nicht auf null bringt.

Und wenn in einem halben Jahr ein besseres Modell erscheint, tauschst du es aus. Die Vektordatenbank mit dem aufbereiteten Bestand bleibt, wie sie ist.

Reicht nicht ein Modell mit 1 Million Token?

GLM-5.2 und Laguna S 2.1 nehmen 1 Million Token in einem Durchgang entgegen, das sind mehrere hundert Seiten. Damit ließe sich das Handbuch bei jeder Frage komplett mitschicken. In 3 Punkten bleibt RAG trotzdem im Vorteil.

Die Suche liefert die Stelle in unter einer Sekunde. Ein Modell, das 500 Seiten am Stück durcharbeitet, braucht dafür 30 bis 60 Sekunden. An der Anlage wartet in dieser Zeit jemand.

Bei den Kosten zählt jedes Token im Fenster, und zwar bei jeder einzelnen Frage. Über einen großen Bestand hinweg gerechnet ist der Unterschied zwischen “3 Absätze” und “500 Seiten” der zwischen Cent und Euro pro Anfrage.

Bei der Genauigkeit gibt es einen Effekt, der lange unterschätzt wurde. Steht die entscheidende Angabe in der Mitte eines sehr langen Textes, sinkt die Trefferquote der Antworten um 10 bis 20 Prozentpunkte. Die gezielte Suche stellt die Stelle dagegen an den Anfang.

Beide Verfahren schließen sich nicht aus. Die Suche holt die passenden Stellen aus dem großen Bestand, das große Fenster nimmt danach ein einzelnes Dokument komplett auseinander.

Welche Werkzeuge du dafür brauchst

AnythingLLM bringt die Vektordatenbank und das Chatfenster gleich mit, du lädst Dateien hoch und fragst. Dify trennt die Bausteine wieder auf und lässt dich für jeden Ablauf festlegen, welches Modell antwortet, wie fein die Dokumente zerlegt werden und ob vor der Antwort noch ein Mensch draufschaut. RAGFlow setzt beim Lesen an und holt Tabellen und Diagramme aus PDFs heraus, an denen einfachere Werkzeuge scheitern.

Welches davon passt, hängt an deiner vorhandenen Technik und an dem, was das System können soll. Die 3 Plattformen stehen sich ausführlich gegenüber in RAG-Tools im Vergleich: R2R, Haystack und RAGFlow. Ein erster Versuch mit AnythingLLM kostet nichts und läuft auf dem eigenen Gerät.

Der erste Aufbau an einem Nachmittag

Ein erstes lauffähiges System steht in wenigen Stunden, sofern die Dokumente in Ordnung sind.

1. Bestand durchsehen. Nur aktuelle Dateien, deren Text sich auslesen lässt. Ein eingescanntes Bild ohne Texterkennung bringt nichts.
2. AnythingLLM installieren. Es ist kostenlos und läuft auf dem eigenen Rechner.
3. Über Ollama ein Modell laden, etwa Qwen3.8-27B oder Gemma 4.
4. Dokumente hochladen. AnythingLLM zerlegt sie und legt die Vektoren an.
5. Die ersten Fragen stellen und prüfen, ob die Antwort stimmt und die genannte Quelle die richtige ist.
6. Nachbessern. Fehlende Dokumente ergänzen, schlechte Antworten bis zur Fundstelle zurückverfolgen, die Gliederung der Quelldateien schärfen.

Wie ein solches System aussieht, wenn es über den ersten Versuch hinausgeht, steht im Praxisguide: RAG-System aufsetzen.

Wohin RAG sich entwickelt

Beim agentischen RAG entscheidet das Modell selbst, wo es sucht, ob eine zweite Suche nötig ist und ob das Gefundene die Frage beantwortet. Statt einer Suche laufen mehrere Schritte hintereinander. Dify und RAGFlow können das heute.

GraphRAG legt zusätzlich einen Wissensgraphen an, also eine Karte davon, welche Begriffe im Bestand miteinander zu tun haben. Microsoft baut solche Graphen mit seinem GraphRAG-Projekt automatisch aus den Dokumenten. Das zahlt sich bei Fragen aus, die mehrere Quellen verbinden, etwa “Welche Kunden nutzen Produkt X und hatten gleichzeitig einen Servicefall?”.

Für den Einstieg bleibt das klassische Verfahren die richtige Wahl. Die beiden anderen werden interessant, sobald der Bestand wächst und die Fragen verschachtelter werden.

Was wir Unternehmen raten

In unseren Projekten fällt die Entscheidung fast immer auf RAG. Mittelständische Daten ändern sich laufend, und ein Verfahren, bei dem eine Preisänderung den Austausch einer Datei bedeutet, verzeiht das. Die Einrichtung ist günstiger, und du siehst jederzeit, welche Dokumente das System kennt und welche nicht.

Alles davon läuft auf der eigenen Hardware. Ein Modell über Ollama, eine Vektordatenbank wie Qdrant daneben, und die Dokumente bleiben, wo sie sind. AnythingLLM und Dify setzen das ohne eine Zeile Code zusammen. Was daraus im Unternehmen wird, steht auf der Seite zu KI-Lösungen für Unternehmen.