Entscheidungs­modelle im Unternehmen am Beispiel Posteingang

Ein Entscheidungsmodell beantwortet eine fest vorgegebene Frage und schreibt sonst nichts. Es sagt Ja oder Nein, wählt eine von mehreren Kategorien oder ordnet auf einer Stufenskala ein. Zu jeder Antwort liefert es eine Wahrscheinlichkeit. Wir setzen seit dem 1. Oktober 2026 ein solches Modell im eigenen Posteingang ein: Winnow-12B liest den Text jeder Mail und schätzt ein, ob sie eine Rechnung enthält, im Text oder als Anhang. Die Anhänge selbst öffnet es nicht. Es läuft lokal auf unserem eigenen Rechner und braucht je Mail rund 0,25 Sekunden.

Entscheidungsmodelle werden in diesen Wochen viel diskutiert. Laut Cloudflare hat TypeSafe AI das Konzept mit seinem Cloud-Modell Jev eingeführt. Seit einigen Wochen bekommt diese Modellart viel Aufmerksamkeit (Cloudflare). Seit dem 29. September 2026 bedient Ollama Entscheidungsmodelle über eine eigene Schnittstelle. Am 1. Oktober hat Cloudflare mit Clef und Clef Flash 2 eigene Modelle veröffentlicht, die es zum Herunterladen und als Cloud-Dienst gibt. Der JevBench von Benchmark Heaven vergleicht inzwischen 109 Systeme. Wir haben Clef und Clef Flash mit denselben Testfällen geprüft wie die Modelle davor.

Lohnen kann sich das Format überall dort, wo im Unternehmen dieselbe Frage sehr oft gestellt wird und die Antwort aus wenigen festen Möglichkeiten besteht: Ist das eine Rechnung? Welches Team ist zuständig? Fehlt eine Unterlage? Ein Entscheidungsmodell beantwortet solche Fragen schnell und günstig, auf Wunsch auch auf eigener Hardware. Seine Wahrscheinlichkeit zeigt, wann ein Mensch hinsehen sollte. Soll am Ende ein Text stehen, bleibt ein Sprachmodell die bessere Wahl. Das gilt auch für eine Frage, die so selten vorkommt, dass sich eigene Testfälle und eine Schwelle nicht lohnen.

Was ein Entscheidungsmodell anders macht

Ein Sprachmodell wie ChatGPT, Claude oder Qwen erzeugt Text Stück für Stück. Wer es als Sortierhilfe einsetzt, bittet es etwa um die Antwort “Rechnung” oder “keine Rechnung”. Viele Sprachmodelle lassen sich dafür auf ein festes Antwortformat mit vorgegebenen Werten festlegen (Ollama zu strukturierten Ausgaben). Wie sicher sich das Modell bei seiner Wahl war, sagt eine solche Antwort in der Regel trotzdem nicht.

Ein Entscheidungsmodell bekommt 2 Dinge: den Zustand, also den Text, die Daten oder das Bild, um das es geht. Dazu eine Liste benannter Fragen, deren erlaubte Antworten vorher feststehen. Das Modell bewertet alle erlaubten Antworten in einem Durchgang und gibt für jede eine Wahrscheinlichkeit zurück. Cloudflare beschreibt dieses Vorgehen für Clef in seiner Ankündigung. Es gibt 3 Arten von Fragen:

Bei einer Auswahl bekommt jede Option eine kurze Beschreibung. Laut Cloudflare nimmt Clef bis zu 64 Fragen in einer Anfrage an (Modellbeschreibung). Eine Mail lässt sich so mit einem einzigen Aufruf auf Belegart, Zuständigkeit und Dringlichkeit prüfen.

Die Schnittstelle heißt System One und stammt von TypeSafe AI, dem Anbieter des Cloud-Modells Jev. Ollama und Cloudflare bieten dasselbe Frageformat an. Laut beiden lässt sich eine bestehende Anbindung an Jev umstellen, indem Adresse und Modellname geändert werden. Bei Anmeldung und Antwortformat unterscheiden sich die Anbieter im Detail trotzdem. (Ollama, Cloudflare)

Wo der Vorteil liegt

Eine Antwort, an der ein Ablauf weiterarbeiten kann

Die Antwort hat immer dasselbe Format. Bei einer Auswahl ist sie eine der vorgegebenen Optionen, bei Ja/Nein und Stufe eine Zahl. Ein Ablauf kann deshalb direkt an ihr verzweigen: Rechnungen in den Belegordner, Lieferscheine zur Bestellung, alles andere bleibt im Postfach. Ab welcher Zahl was geschieht, legst du im Ablauf fest.

Eine Wahrscheinlichkeit statt einer bloßen Behauptung

Mit der Wahrscheinlichkeit lässt sich eine Schwelle setzen. Bei uns kommt eine Mail ab 0,9 als Rechnung in den Belegordner, wenn sie zusätzlich die Absenderprüfung DMARC besteht. Zwischen 0,1 und 0,9 oder ohne bestandene Prüfung landet sie in einem Ordner, den ein Mensch durchsieht. Unter 0,1 bleibt sie im Postfach. Bei einem Abgleich am 1. Oktober mit 130 Mails aus unseren 3 Postfächern lagen die 8 Rechnungen bei Winnow zwischen 0,94 und 0,997. Ein Hinweis, dass eine Rechnung im Kundenportal bereitliegt, kam auf 0,85. Alle übrigen Mails lagen unter 0,1. Der Hinweis aufs Portal ist genau der Fall, den ein Mensch ansehen sollte.

Eine Garantie sind diese Werte nicht. Wie gut die angegebenen Wahrscheinlichkeiten zu den tatsächlichen Treffern passen, heißt Kalibrierung und hängt auch von der Art der Daten ab. Die Schwelle wird deshalb an eigenen Beispielen festgelegt.

Schnell, günstig und auf eigener Hardware möglich

Die offenen Entscheidungsmodelle haben 0,8 bis 27 Milliarden Parameter (die gelernten Zahlenwerte eines Modells) und sind damit deutlich kleiner als große Sprachmodelle. Die Modelldatei von Winnow-12B ist 12,7 GB groß. Bei der Rechnungsprüfung mit Winnow verlassen die Mailtexte unseren Rechner nicht. In der Cloud kostet Clef bei Cloudflare 0,24 US-Dollar je Million Eingabe-Tokens (Preisangabe). Tokens sind die Textbausteine, nach denen KI-Anbieter abrechnen. Auch ein Bild wird in Tokens umgerechnet. Ein erfundener Geschäftsbrief als Bild kam in unserem Test auf 914 Tokens, das sind rund 0,02 US-Cent je Brief.

Wofür Unternehmen Entscheidungsmodelle einsetzen können

Die Tabelle zeigt typische Fragen aus dem Unternehmensalltag. Die Beispiele sind gedacht. Ob ein Modell eine Frage zuverlässig beantwortet, zeigt erst ein Test mit eigenen Fällen.

Beispiel Posteingang mit Entscheidungsmodell und Sprachmodell

Die beiden Modellarten ergänzen sich. Das Entscheidungsmodell sieht jede eingehende Nachricht und sortiert sie. Das Sprachmodell kommt nur bei 2 Aufgaben dazu. Es liest aus einer Rechnung die Daten für einen Buchungsvorschlag aus oder entwirft eine Antwort. Ein gedachter Ablauf für einen Betrieb mit Mails und gescannten Briefen:

Die Schwelle gilt jeweils für die Antwort, an der der Ablauf verzweigt. Bei der Belegart ist das die Wahrscheinlichkeit der gewählten Kategorie, bei der Rechnungsfrage die Wahrscheinlichkeit für Ja. Die Dringlichkeit verzweigt nicht, sie legt die Reihenfolge in der Prüfliste fest.

Die zweite Prüfung nach dem Sprachmodell ersetzt die Freigabe nicht. Sie markiert Entwürfe, in denen das Entscheidungsmodell eine Zusage zu Preis oder Termin erkennt. Wer freigibt, sieht dort genauer hin. Diesen Schritt haben wir nicht getestet.

Ob Clef die Belegart auch auf Bildern erkennt, haben wir an 4 erfundenen Geschäftsbriefen geprüft: eine Rechnung, ein Lieferschein, ein Angebot und eine Zahlungserinnerung ohne beiliegende Rechnung. Die Briefe sind am Rechner erzeugte, saubere Bilder und keine echten Scans. Clef und Clef Flash lesen Bilder direkt, eine vorherige Texterkennung ist nicht nötig.

Welche Entscheidungsmodelle es gibt

Die Modelle unterscheiden sich in Größe, Lizenz und Betriebsort. Der JevBench von Benchmark Heaven vergleicht sie an 1.624 Entscheidungen. 720 davon stammen aus einem nicht veröffentlichten Satz, damit kein Modell gezielt auf die Aufgaben trainiert werden kann. Die Kennzahl in der Tabelle ist der Capability Score, der Mittelwert aus der Treffsicherheit (bereinigt um Zufallstreffer) und der Kalibrierung. Die Gesamtwertung des JevBench rechnet zusätzlich Geschwindigkeit und Kosten ein.

Unser Test mit 40 Mails

Wir haben die Modelle an 40 erfundenen Mails geprüft, 33 auf Deutsch und 7 auf Englisch, je 20 mit und ohne Rechnung. Darunter sind absichtlich gestellte Fallen wie eine Mahnung ohne beiliegende Rechnung, eine Gutschrift, eine Bestellbestätigung und ein Bewirtungsbeleg. Jede Mail haben wir einmal mit einer deutschen und einmal mit einer englischen Frage ausgewertet. Als richtig zählt eine Antwort, die ab 0,5 auf der richtigen Seite liegt.

Bei der Schwelle 0,5 haben Winnow und Clef alle Mails richtig eingeordnet. Bei unserer Betriebsschwelle von 0,9 hätte Winnow alle 20 Rechnungen automatisch abgelegt, Clef nur 14. Die übrigen 6 wären in die Prüfliste gegangen, bei der englischen Frage 8. Keine Mail ohne Rechnung kam bei einem der beiden Modelle über 0,9. Clef ist also vorsichtiger, das bedeutet mehr Handarbeit und keine Fehlablage. Clef Flash gab bei der deutschen Frage einer klar formulierten Rechnung für eine Wartung nur 0,40 für Rechnung und ordnete sie damit falsch ein. Außerdem übersah es eine Zahlungserinnerung mit beiliegender Rechnung und einen Bewirtungsbeleg. Nimble übersah vor allem Belege, die keine gewöhnliche Rechnung sind, etwa Gutschrift und Quittung. tev1 hielt Mails für Rechnungen, die eine Rechnung nur erwähnen.

Welche Modelle sich für Unternehmen eignen

Für die Rechnungserkennung in Mails ist Winnow-12B aus unserer Sicht die erste Wahl. Es hat in unserem Test alle Fälle richtig eingeordnet und jede Rechnung über unsere Schwelle von 0,9 gehoben. Im Capability Score des JevBench liegt es knapp hinter Jev. Für Fragen wie Zuständigkeit oder Dringlichkeit haben wir es nicht getestet, dafür braucht es eigene Fälle. Die Lizenz ist Apache 2.0, die Modelldatei 12,7 GB groß. Aufwendiger ist die Einrichtung. Ollama bedient Winnow nicht über die gemeinsame Schnittstelle. Wir rufen es über eine eigene Konfiguration und die Anweisung aus Winnows eigenem Server auf. Das verlangt Erfahrung mit Ollama und ist mehr als ein Download mit einem Befehl.

Für Briefe und Formulare als Bild ist Clef der Kandidat, den wir als Nächstes mit echten Scans prüfen. Es liest Bilder direkt, hat im Mailtest bei der Schwelle 0,5 keinen Fehler gemacht und unsere 4 Testbriefe richtig erkannt. Bei der Schwelle 0,9 schickt es allerdings mehr Rechnungen zur Prüfung als Winnow. Auch Clef steht unter Apache 2.0, die Modelldatei für Ollama ist 18 GB groß. Über Cloudflare lässt es sich ohne eigene Hardware ausprobieren.

Clef Flash, Nimble und tev1 sind kleiner. Nimble und tev1 antworteten lokal schneller als Winnow, Clef Flash in der Cloud schneller als Clef. In unserem Test haben sie aber Rechnungen übersehen oder Mails falsch als Rechnung erkannt. Für einfache Fragen mit wenig Spielraum können sie reichen. Für Belege würden wir sie nicht ohne eigenen Test einsetzen.

Jev und Clef bei Cloudflare lassen sich ohne eigene Hardware nutzen. Cloudflare sagt in seiner Dokumentation zur Datennutzung zu, Eingaben ohne ausdrückliche Zustimmung nicht zum Training zu verwenden. Eine Zusage, dass die Verarbeitung in der EU stattfindet, steht dort nicht. Für einen Posteingang mit personenbezogenen Daten ist ein lokales Modell deshalb der einfachere Weg. Die Abwägung im Einzelnen beschreibt der Vergleich Lokale KI vs. Cloud-KI, den Einstieg in Ollama der Beitrag Ollama in Unternehmen.

Worauf du vor dem ersten Einsatz achten solltest

Die Ausgabe eines Entscheidungsmodells bleibt auf Zahlen und vorgegebene Optionen begrenzt. Steht in einer Mail eine versteckte Anweisung an eine KI, kann sie die Einordnung und die Wahrscheinlichkeit verfälschen. Die Mail landet dann womöglich im falschen Ordner. Eine Mail verschicken oder Daten weitergeben kann das Modell selbst nicht. Welche Folgen eine falsche Einordnung haben kann, bestimmt der Ablauf, den du darum baust. Bei uns ist es im schlimmsten Fall eine Datei zu viel im Belegordner. Ohne bestandene Absenderprüfung landet sie nur im Ordner zum Durchsehen.