Portkey
im Test.

Sobald mehrere Anwendungen im Unternehmen Sprachmodelle ansprechen, wird die monatliche Rechnung unübersichtlich, und niemand kann sie den einzelnen Teams zuordnen. Portkey sitzt als Zwischenstation in diesem Weg, und jede Anfrage läuft von da an über das Gateway, das sie an den gewählten Anbieter weiterreicht und dabei Kosten, Antwortzeiten und Fehlerquote mitschreibt. Fällt ein Anbieter aus, geht dieselbe Anfrage an ein hinterlegtes Ausweichmodell. Für eine einzelne Anwendung im Versuchsstadium ist das Mehraufwand ohne Gegenwert.

Wichtigste Funktionen

• Quelloffenes Gateway: Der Kern liegt unter MIT-Lizenz auf GitHub, hat über 12.000 Sterne und startet mit einem einzigen Befehl (npx @portkey-ai/gateway) oder als Docker-Abbild. Es bildet die OpenAI-Schnittstelle nach, vorhandener Code braucht deshalb meist nur eine neue Adresse.
• Über 1.600 Modelle hinter einer Adresse: OpenAI, Anthropic, Google, Mistral, AWS Bedrock und selbst betriebene lokale Modelle hängen am selben Endpunkt. Ein Anbieterwechsel ist damit eine Zeile Konfiguration.
• Ausweichmodelle und Lastverteilung: Antwortet ein Anbieter nicht oder meldet er einen Fehler, wiederholt das Gateway die Anfrage und geht danach auf ein zweites Modell über. Nach eigenen Regeln verteilt das Gateway Anfragen außerdem auf mehrere Anbieter, etwa nach Kosten oder nach Auslastung.
• Auswertung und Protokolle: Die Steuerebene beim Hersteller zeigt Antwortzeiten, Token-Verbrauch, Kosten und Fehlerquote, aufgeschlüsselt nach Modell, Anwendung und Team. Wer den Inhalt einzelner Anfragen nicht ablegen lassen will, setzt die Kopfzeile x-portkey-debug: false, dann bleiben nur Tokenzahl, Kosten und Antwortzeit stehen.
• Schutzregeln für Ein- und Ausgaben: Über 20 feste Prüfungen fangen unerwünschte Eingaben und Antworten ab, etwa Manipulationsversuche am Prompt oder das Durchreichen personenbezogener Angaben. Dazu kommen Anbindungen an Aporia, SydeLabs und Pillar Security sowie an Prisma AIRS, die Sicherheitsplattform des neuen Eigentümers.
• Datenebene im eigenen Rechenzentrum: Unternehmenskunden betreiben das Gateway als Container in ihrer eigenen Cloud-Umgebung, während Oberfläche und Verwaltung beim Hersteller bleiben. Laut Dokumentation verarbeitet allein dieser Container die Prompts und Antworten, nach draußen gehen im Minutentakt die Konfiguration und anonymisierte Kennzahlen.

Preise und Tarife

Das selbst betriebene Gateway kostet nichts und kennt keine Anfragegrenze. Du zahlst dann den Server und die Gebühren der Modellanbieter, die Portkey nur durchreicht. Für einen Gateway-Knoten nennt die Dokumentation 1-2 Prozessorkerne und 2-4 GB Arbeitsspeicher, das ist die Größe eines kleinen Mietservers und fällt neben den Modellkosten kaum ins Gewicht.

Der Tarif Developer ist dauerhaft kostenlos, deckt 10.000 aufgezeichnete Anfragen im Monat ab und hält die Protokolle 3 Tage vor. Portkey selbst bezeichnet ihn als nicht produktionstauglich. Production kostet rund 42,14 Euro im Monat (49 USD) und enthält 100.000 Anfragen bei 30 Tagen Aufbewahrung.

Jede weitere Staffel von 100.000 Anfragen schlägt mit rund 7,74 Euro (9 USD) zu Buche, bis zur Obergrenze von 3 Millionen Anfragen. Erst ab Production gibt es Alarme, semantisches Zwischenspeichern und eine Rechtevergabe nach Rollen. Einmalanmeldung, Prüfprotokolle und den Betrieb in der eigenen Cloud-Umgebung hat nur der individuell verhandelte Unternehmenstarif.

Portkey weist alle diese Beträge ohne Umsatzsteuer aus, für deutsche Kunden kommt sie noch hinzu.

Für wen ist Portkey geeignet?

• Entwicklungsteams mit mehreren Modellanbietern: Wer OpenAI, Anthropic und ein selbst betriebenes Modell parallel nutzt, spart sich getrennte Anbindungen im Programmcode und kann Modelle im laufenden Betrieb tauschen, ohne die Anwendung anzufassen.
• Plattform-Teams, die KI-Zugänge für mehrere Abteilungen verwalten: Du vergibst Rechte nach Rollen, hinterlegst je Zugangsschlüssel ein Budget und liest an der Kostenaufschlüsselung ab, wer im Unternehmen wie viel verbraucht.
• Unternehmen, die das Gateway ohne Herstellerdienst betreiben wollen: Die MIT-Fassung läuft auf eurer eigenen Hardware und braucht keinen Vertrag mit Portkey. Dann fehlen allerdings Auswertung, Protokolle und Schlüsselverwaltung.

DSGVO und Datenschutz

Portkey Inc. ist eine Gesellschaft nach dem Recht von Delaware. Der Auftragsverarbeitungsvertrag führt eine Anschrift in Wilmington, die Webseite ein Büro in San Francisco. Am 29.05.2026 hat Palo Alto Networks aus Santa Clara die Übernahme für 140 Mio. USD abgeschlossen, seither steht ein weiteres US-Unternehmen als Mutterkonzern dahinter.

Der Auftragsverarbeitungsvertrag steht unter portkey.ai/dpa ohne Anmeldung im Volltext und bindet die EU-Standardvertragsklauseln nach dem Durchführungsbeschluss (EU) 2021/914 ein. Für diese Klauseln gelten deutsches Recht und der Gerichtsstand Berlin, einen Datenschutzbeauftragten benennt der Vertrag unter dpo@portkey.ai. Das ist mehr, als wir bei US-Anbietern sonst zu sehen bekommen.

Am Verarbeitungsort scheitert es trotzdem. Abschnitt 8.1 desselben Vertrags hält fest, dass Daten je nach Produkt innerhalb oder außerhalb der EU gespeichert werden können, ohne zu sagen, welches Produkt wo rechnet. Die Sicherheitsseite der Dokumentation nennt weder Cloud-Anbieter noch Region und spricht nur von einem weltweiten Netz aus 310 Rechenzentren.

Eine buchbare EU-Region kennen die Tarife Developer und Production nicht, und zum Speicherort der Daten fehlt in der Dokumentation eine eigene Seite. Portkey beantwortet die Frage über den Enterprise-Vertrag, wo die Datenebene als Container beim Kunden läuft und Prompts wie Antworten im eigenen Netz bleiben.

Zum Umgang mit den Inhalten verpflichtet der Vertrag Portkey auf die Weisungen des Kunden, erlaubt daneben aber ausdrücklich die Verarbeitung zur Verbesserung der eigenen Dienste. Im gehosteten Dienst zeichnet Portkey die Inhalte ab Werk auf, die Kopfzeile x-portkey-debug: false schaltet das ab. SOC 2 Type 2 und ISO 27001 weist Portkey aus, die Berichte gibt es über das Trust Center auf Anfrage. Die Preisseite listet außerdem die DSGVO und das US-Gesundheitsdatenrecht HIPAA als Zertifikate auf, gemeint ist dort eine Selbstauskunft und keine Zertifizierung nach Artikel 42 DSGVO.

Wir führen Portkey deshalb ohne DSGVO-Kennzeichen. Für das quelloffene Gateway auf eurer eigenen Hardware ist das keine Warnung, denn dort verarbeitet der Hersteller selbst nichts und die Frage entscheidet sich an den Modellen, die du dahinterhängst. Der gehostete Dienst dagegen läuft ohne festen Rechenort, und der öffentliche Vertrag gleicht das nicht aus. Für personenbezogene Daten bleiben der Selbstbetrieb oder ein Enterprise-Vertrag mit Datenebene im eigenen Rechenzentrum.

Alternativen zu Portkey

• LiteLLM: Vermittler mit ähnlichem Funktionsumfang, den der Hersteller ausschließlich zum Selbstbetrieb abgibt. Er steht Entwicklern näher und hat den größeren freien Umfang, dafür fehlt ihm die ausgereifte Oberfläche von Portkey.
• Langfuse: Quelloffene Auswertung für KI-Anwendungen, seit Januar 2026 im Besitz von ClickHouse. Sie ist stärker bei Bewertungen und Testdatensätzen, hat aber kein eigenes Gateway davor.
• OpenRouter: Reiner Vermittler zu Modellanbietern, in Minuten eingerichtet und ohne Selbstbetrieb. Firmenkunden bekommen auf Anfrage eine EU-Route, die Portkey in dieser Form nicht hat.