Lokale KI vs. Cloud-KI: Unterschiede, Kosten und Praxistipps

Vor dir liegt ein Vertragsentwurf, eine Kalkulation oder eine Personalakte, und ein Sprachmodell hätte die Arbeit in Minuten erledigt. Dann kommt die Frage, ob diese Daten auf einen Server in den USA gehen dürfen.

In unseren Projekten steht diese Frage am Anfang fast jedes Gesprächs. Die Cloud liefert die stärksten Modelle, sofort und ohne eigene Hardware. Der Betrieb auf eigenen Rechnern hält alle Daten im Unternehmen. Beide Wege haben harte Vorteile und echte Kosten.

Die Cloud liefert sofort und schickt die Daten weg

Bei OpenAI, Anthropic und Google bekommst du Zugang zu den leistungsfähigsten Modellen, die es gibt. GPT-5.6, Claude Opus 5 und Gemini führen die Ranglisten bei verschachtelten Aufgaben, langen Texten und Programmcode an. Ein Zugang genügt, und du fängst in 5 Minuten an. Die Anbindung an vorhandene Software ist ausgereift, Microsoft 365, Slack, Notion und die verbreiteten Kundenverwaltungen sprechen mit den Modellen ohne Zusatzarbeit, und jede neue Modellfassung steht automatisch bereit.

Der Preis dafür steht im Kleingedruckten. Die meisten Anbieter betreiben ihre Rechenzentren in den USA, und der US CLOUD Act erlaubt US-Behörden den Zugriff auf Daten, die ein US-Unternehmen verwaltet, auch wenn der Server in Europa steht. In den kostenlosen und günstigen Tarifen fließen Eingaben häufig ins Training der nächsten Modellfassung.

Dazu kommen die laufenden Kosten je Nutzer. ChatGPT Business liegt bei 17,20 bis 21,50 € je Sitz und Monat, Microsoft Copilot Business bei rund 18,30 € zuzüglich der Microsoft-365-Lizenz. Bei 20 Beschäftigten sind das 4.100 bis 5.200 € im Jahr, und zwar jedes Jahr wieder.

Auf eigener Hardware bleibt alles im Unternehmen

Läuft das Modell auf einem Rechner im Unternehmen, greift kein externer Anbieter auf die Eingaben zu, es gibt keinen Auftragsverarbeitungsvertrag und keine Übermittlung in ein Drittland. Du kannst das Netzwerkkabel ziehen, und das Modell antwortet weiter.

Die offenen Modelle Qwen3.8, Gemma 4, GLM-4.7 Flash und Laguna S 2.1 kosten keine Lizenzgebühr und dürfen im Unternehmen angepasst werden. Mit Ollama dauert der Start wenige Minuten.

# Ollama installieren, macOS und Linux
curl -fsSL https://ollama.com/install.sh | sh

# Qwen3.6 starten, 3 Mrd. aktive Parameter, 24 GB Grafikspeicher
ollama run qwen3.6:35b

# Oder Gemma 4 für Dokumente mit Bildern
ollama run gemma4

Was du dafür in Kauf nimmst: Bei verschachtelten Analysen, sehr langen Texten und feinen Zwischentönen liegen GPT-5.6 und Claude Opus 5 weiter vorn. Die Hardware kostet Geld, und Aktualisierung, Wartung und Anbindung liegen bei dir. Wie der Einstieg abläuft, steht in Ollama in Unternehmen.

Welche Hardware für welches Modell reicht

Für einen großen Teil der Büroarbeit reicht nach unserer Erfahrung ein kleineres Modell auf vorhandener Hardware. Texte schreiben, Mails beantworten, Dokumente zusammenfassen, dafür genügt ein Modell mit 3 bis 12 Milliarden aktiven Parametern auf einem aktuellen Rechner. Die größere Anschaffung lässt sich besser planen, sobald feststeht, welche Aufgaben tatsächlich anfallen.

Der Unterschied zwischen Gesamtzahl und aktiven Parametern kommt von einer Bauform namens Mixture-of-Experts. Ein solches Modell teilt seine Parameter in Gruppen auf und schaltet je Anfrage nur wenige davon ein. Qwen3.6-35B-A3B hat 35 Milliarden Parameter und rechnet mit 3 Milliarden je Token, GLM-5.2 und Laguna S 2.1 arbeiten genauso. Deshalb laufen Modelle auf einer Karte aus dem Handel, für die vor 2 Jahren ein Server nötig gewesen wäre.

Beide Wege nebeneinander

Wann welcher Weg passt

Die Cloud passt zu jungen Unternehmen mit knappem IT-Budget, zu Agenturen, die morgen anfangen wollen, und zu allen ohne eigene IT-Abteilung. Wichtig ist dabei mindestens ein Geschäftstarif, damit die Eingaben nicht ins Training gehen. Was dabei zu beachten ist, steht im ChatGPT-Guide für Unternehmen.

Die eigene Hardware ist die bessere Wahl für Kanzleien und Notariate mit ihrer Verschwiegenheitspflicht, für Kliniken und Praxen mit Patientendaten, für Finanzdienstleister, für Fertigungsbetriebe mit Anlagen ohne Netzanschluss und für alle, die strenge Vorschriften einzuhalten haben.

Die häufigsten Fehler beim Einstieg

Teure Grafikkarten zu kaufen, bevor feststeht, welche Aufgaben das Modell übernehmen soll, ist der teuerste. Die kostenlose Fassung von ChatGPT für Firmendaten zu benutzen, ist der gefährlichste. Lokale KI einzuführen, ohne jemandem zu zeigen, wie sie arbeitet, ist der häufigste. Und eine Anschaffung über 3 Jahre zu planen, obwohl sich die verfügbaren Modelle halbjährlich ändern, ist der ärgerlichste.

Der Gegenentwurf ist unspektakulär. Mit einem kleinen Modell auf vorhandener Hardware anfangen. Bei Cloud-Nutzung einen Geschäftstarif nehmen. 3 bis 5 echte Aufgaben festlegen und daran testen. Und die Hardware in Stufen kaufen, nach dem Bedarf, den die Tests gezeigt haben.

Werkzeuge für den Einstieg

Ollama startet ein Modell mit einem Befehl im Terminal und ist damit der schnellste Weg zum ersten Versuch. LM Studio bringt eine grafische Oberfläche mit, dort lädst du ein Modell herunter und schreibst sofort mit ihm, ohne Kommandozeile. Open WebUI läuft im Browser und bedient mehrere Leute gleichzeitig, mit Nutzerverwaltung, Dateiablage und Anbindung an ein RAG-System.

Alle bewerteten KI-Tools stehen in unserer Übersicht. In der Cloud ist ChatGPT der bekannteste Einstieg, und wer die Verarbeitung in Europa braucht, sieht sich Langdock an, eine Plattform für europäische Unternehmen mit eigener Zugriffssteuerung.

In der Praxis läuft meistens beides

In unseren Projekten steht am Ende fast immer eine Aufteilung. Auf der eigenen Hardware laufen die Vorgänge mit sensiblem Material, also Kundenkommunikation, Personalakten, Finanzdaten, Verträge und das interne Wissensmanagement mit RAG. Wie das Firmenwissen dorthin kommt, beschreibt RAG AI: Wie du der KI dein Firmenwissen beibringst.

In der Cloud bleiben die Aufgaben ohne Personenbezug, also Marketingtexte, Marktrecherchen, Ideensammlungen, Übersetzungen und Präsentationen.

Eine Kanzlei, mit der wir arbeiten, wertet Mandantenakten und Verträge über Open WebUI mit Qwen3.6 auf dem eigenen Server aus. Für Texte auf der Webseite, den Newsletter und die sozialen Netze läuft ChatGPT Business oder Claude, weil dort keine Mandantendaten anfallen. Die Grenze verläuft nicht zwischen den Werkzeugen, sondern zwischen den Vorgängen.