Portkey

Portkey ist eine AI-Gateway- und LLM-Observability-Plattform aus San Francisco und Bengaluru, die Unternehmen ein zentrales Control-Plane für ihre Produktiv-LLM-Workloads bietet. Der Stack kombiniert Routing zwischen 250+ Modellen, Caching, Guardrails, Prompt-Management und Observability in einem einzigen API-Layer.

Überblick

Typ: Firma (Privatunternehmen, VC-finanziert)
Gründung: 2023
Hauptsitz: San Francisco, USA (Co-HQ Bengaluru, Indien)
Gründer: Rohit Agarwal (CEO), Ayush Garg (CTO)
Mitarbeiter: ca. 30–40 (Stand 2026)
Website: portkey.ai
Kategorie: AI Gateway / LLMOps / LLM Observability
Geschäftsmodell: SaaS (Cloud + On-Prem/Self-Hosted Enterprise), Open-Source-Gateway unter MIT-Lizenz

Produkte und Services

Portkey adressiert den Layer zwischen Applikations-Code und LLM-Provider. Statt direkt gegen OpenAI, Anthropic oder Google zu sprechen, schicken Teams ihre Requests über das Portkey-Gateway und bekommen damit Failover, Rate-Limits, Cost-Tracking und Logging out-of-the-box.

AI Gateway

Das Kernprodukt ist ein Open-Source-Gateway (Apache-2.0-Repo auf GitHub mit 7.000+ Stars), das als Proxy zwischen Anwendung und LLM-Providern sitzt. Features:

Unified API für 250+ Modelle (OpenAI, Anthropic, Google Vertex, AWS Bedrock, Azure OpenAI, Mistral, Groq, Cohere, lokale Modelle via Ollama/vLLM)
Fallback und Load Balancing zwischen Providern
Semantic Caching auf Redis-Basis
Retry- und Timeout-Logik pro Request-Klasse
Conditional Routing über Metadata-Tags

Observability und Analytics

Logs jeder Request inklusive Token-Counts, Latenz, Kosten und Fehler. Dashboards für Cost-per-Customer, Cost-per-Feature und Modell-Drift. Trace-Export nach OpenTelemetry, Datadog, Grafana.

Prompt Management

Versionierte Prompts mit A/B-Testing und Templates. Teams können Prompts deployen, ohne Code-Releases zu triggern.

Guardrails

Über 20 vorgefertigte Checks (PII-Detection, Toxicity, Jailbreak-Detection, JSON-Schema-Validierung) plus Custom-Guardrails via Partner-Integrationen mit Aporia, Patronus und Pillar Security.

Enterprise / Self-Hosted

On-Premises-Deployment für regulierte Branchen mit SOC 2 Type II, HIPAA und GDPR-Compliance. Im DACH-Kontext relevant für Banken, Versicherer und Pharma, die LLM-Workloads in der eigenen VPC behalten müssen.

Geschichte und Entwicklung

Jahr	Ereignis
2023	Gründung durch Rohit Agarwal und Ayush Garg
2023	Seed-Runde, Y Combinator W23-Batch
2024	Open-Source-Release des AI Gateway
2024	Series A über 12 Mio. USD, geführt von Lightspeed Venture Partners
2025	Ausbau Enterprise-Features (Audit Logs, SSO, Self-Hosted)
2025	Integration in das Vercel AI SDK und LangChain als Standard-Gateway-Option
2026	Weitere Modell-Partnerschaften, Fokus auf Agent-Workloads

Portkey ist Teil einer Welle von LLM-Infrastructure-Startups, die nach dem ChatGPT-Launch 2022/2023 entstanden sind, um den Wildwuchs an Provider-SDKs und Monitoring-Lücken zu adressieren.

Team und Führung

Rohit Agarwal — CEO & Co-Founder. Vorher Product Lead bei Pepper Content und Ola. Hintergrund in Growth und Data-Plattformen.
Ayush Garg — CTO & Co-Founder. Vorher Engineering bei Freshworks. Verantwortet das Gateway-Engineering und die Open-Source-Community.

Das Team ist verteilt zwischen San Francisco (Go-to-Market, Enterprise Sales) und Bengaluru (Engineering).

Investoren und Eigentümer

Portkey ist VC-finanziert, kein PE-Buyout-Case. Die Cap-Table ist Stand 2026 nicht öffentlich vollständig, bekannte Investoren:

Lightspeed Venture Partners — Lead Series A 2024
Y Combinator — Seed (W23-Batch)
Weitere Angel-Investoren aus dem Indian-SaaS-Umfeld

Eine Exit-Prognose wäre an dieser Stelle Spekulation. Bei einer Series-A-Runde 2024 ist der nächstliegende Pfad eine Series B in 12–24 Monaten, nicht ein Exit. Ein realistisches Exit-Fenster läge frühestens 2029–2032, entweder über Strategic-Acquisition (Datadog, Cloudflare, Hyperscaler) oder weitere Wachstumsrunden.

Konkurrenz

Der AI-Gateway-/LLMOps-Markt ist 2025/2026 stark fragmentiert. Wichtigste Wettbewerber:

Anbieter	Fokus	Open Source	HQ
Langfuse	Observability + Prompt Management	Ja	Berlin
Helicone	Observability + Gateway	Ja	San Francisco
LiteLLM (BerriAI)	Open-Source-Gateway (Library)	Ja	San Francisco
OpenRouter	Modell-Marketplace / Gateway	Nein	USA
LangSmith (LangChain)	Observability + Eval	Nein	San Francisco
Arize AI	ML/LLM Observability (Enterprise)	Teilweise	Berkeley
TrueFoundry	LLM-Plattform + Gateway	Teilweise	Indien

Im DACH-Markt ist der direkteste Wettbewerber Langfuse aus Berlin, das ebenfalls Open-Source-First arbeitet und sich auf Observability und Prompt-Management spezialisiert. Helicone überlappt funktional am stärksten, hat aber weniger Routing-Tiefe. LiteLLM ist als Library-First-Ansatz technisch ein direkter Substitut, ohne hostete Plattform-Komponente.

Differenzierung von Portkey: die Kombination aus Gateway (Routing, Caching, Failover) und Observability in einem einzigen Produkt, plus früher Enterprise-Schwerpunkt (Self-Hosted, Guardrails).

Relevanz für den DACH-Markt

Portkey ist als US-/Indien-Company nicht im DACH-Mittelstand verankert, gewinnt aber bei deutschen Enterprises Traktion, die LLM-Workloads in regulierten Kontexten betreiben (Self-Hosted-Option, GDPR-konformer EU-Deployment-Mode). Im Direktvergleich mit dem DACH-nativen Langfuse verläuft die Entscheidung üblicherweise entlang der Achse “Observability-First (Langfuse)” vs. “Gateway-First (Portkey)”.