Lokale KI im Mittelstand: Die Kostenrechnung liegt Faktor 20 daneben

Das Gespräch läuft seit einem Jahr immer gleich. Ein Geschäftsführer hat gelesen, dass Anthropic auf seiner Inferenz 70 Prozent Marge macht. Daraus folgt für ihn: Wer die Modelle selbst betreibt, spart diese 70 Prozent. Also ein GPU-Server ins Rechenzentrum, Llama drauf, fertig. Die IT nickt, weil sie lieber Hardware verwaltet als API-Verträge. Der Datenschutzbeauftragte nickt, weil nichts das Haus verlässt. Der Controller nickt, weil ihm jemand eine Folie mit „70 % Einsparung” gezeigt hat.

Drei von drei nicken. Die Rechnung dahinter stimmt trotzdem nicht. Dieser Text zerlegt das Kostenargument mit einem Hetzner-Preis, einem vLLM-Benchmark und den Token-Preisen von Anthropic, Stand Oktober 2026. Die Prämisse: ein deutscher Mittelständler mit normaler Datenlage. Verschlusssachen und Berufsgeheimnisträger kommen am Ende dran, da sieht die Welt anders aus.

Das Stück schließt an das LLM-Auswahl-Framework an, bei dem Datenresidenz eine von vier Prüfachsen war, und an AI FinOps, wo es um die Token-Kosten der API-Seite ging. Hier geht es um die andere Seite der Rechnung.

Zwei Margen, die im Gespräch ständig verwechselt werden

Die 70 Prozent sind echt, aber sie beschreiben etwas anderes, als der Geschäftsführer glaubt.

Kennzahl	Wert	Quelle
Anthropic, Inferenz-Bruttomarge 2024	−94 %	SemiAnalysis via TokenPost
Anthropic, Inferenz-Bruttomarge 2025	~38 %	SemiAnalysis via TokenPost
Anthropic, Inferenz-Bruttomarge Mai 2026	>70 % (mittlere 60er je nach Lesart)	SemiAnalysis via Forbes, TokenPost
Anthropic, API-Bruttomarge 2026	>80 %	SemiAnalysis via TokenPost
Anthropic, mögliche Inferenz-Marge laut Oktober-Report	bis 88 %	SemiAnalysis via Crypto Briefing
Anthropic, Unternehmens-Bruttomarge 2025 (Plan → Ist)	50 % → 40 %	The Information via WebProNews

Erste Ebene: die Inferenz-Marge. Das ist die Spanne zwischen Token-Preis und den Kosten, einen Token auf bereits laufender Hardware zu produzieren. Die ist in 18 Monaten von −94 auf über 70 Prozent gestiegen. Das ist die Zahl aus den Schlagzeilen.

Zweite Ebene: die Unternehmens-Bruttomarge. Da sind die Rechenzentrumsmieten bei Google und Amazon drin. Für 2025 hat Anthropic die Prognose von 50 auf 40 Prozent gesenkt, weil die Inferenzkosten 23 Prozent über Plan lagen. Die Hardware frisst die Marge, auch beim größten Betreiber.

Für die Self-Hosting-Rechnung zählt nur die erste Ebene. Sie markiert die theoretische Obergrenze dessen, was man durch eigenen Betrieb überhaupt einsparen könnte: grob 60 bis 70 Prozent des Token-Preises, wenn man exakt so produziert wie Anthropic. Alles weitere hängt daran, ob man das kann.

Der Auslastungshebel, den der Mittelständler nie zieht

Anthropic lastet seine GPUs weltweit aus. Feierabend in Europa ist Nachmittag in den USA, danach kommt Asien. Dazu kommen agentische Workloads, die rund um die Uhr laufen, und Batch-Verarbeitung, die Anthropic bewusst mit 50 Prozent Rabatt in die Täler schiebt. Die Lastkurve ist über 24 Stunden fast flach. Die Karte, die 24 Stunden Geld kostet, arbeitet 24 Stunden. Das ist der Hebel hinter der Marge.

Der Mittelständler mit Bürobetrieb hat diese Kurve nicht.

Nutzung grob 8 bis 18 Uhr an 220 Arbeitstagen: 2.200 von 8.760 Jahresstunden, also 25 Prozent. Das wäre schon der Idealfall mit konstanter Last innerhalb der Bürozeit.
Die Last ist innerhalb des Tages weder konstant noch planbar. Vormittags-Peak, Mittagsloch, nachmittags wieder hoch, freitags ab 14 Uhr Ruhe.
Realistisch bleiben 10 bis 15 Prozent echte GPU-Auslastung. Ich habe noch keinen Mittelständler gesehen, der darüber liegt, ohne nachts Batch-Jobs zu fahren.

Die Karte kostet 24 Stunden am Tag, arbeitet aber zweieinhalb. Dieselbe Hardware wird auf ein Siebtel der Stunden verteilt. Die Marge aus Ebene eins dreht sich damit ins Negative, bevor die erste Fachabteilung ihren ersten Prompt abgesetzt hat.

Die Rechnung mit echten Preisen

Wichtige Vorbemerkung: Auf einer einzelnen GPU läuft kein Frontier-Modell. Die Opus-Klasse läuft auf GPU-Verbünden, die kein Mittelständler ins Rack stellt. Lokal realistisch auf einer 96-GB-Karte ist ein quantisiertes Modell der 70B-Klasse, Llama 3.3, Qwen oder Mistral. Der faire Vergleich ist deshalb lokales 70B gegen Claude Haiku 5.5. Wer die 70B-Rechnung gegen den Opus-Preis hält, mogelt. Dazu gleich mehr.

Die Annahmen:

Position	Wert	Quelle
Hetzner GEX131 (1× RTX PRO 6000 Blackwell, 96 GB, Xeon Gold 5412U, 256 GB RAM)	1.199 €/Monat + 599 € Setup	Hetzner, Oktober 2026. Launch-Preis Dezember 2025: 889 €
Effektive Monatskosten, Setup auf 24 Monate verteilt, Strom inklusive	1.224 €	eigene Rechnung
Durchsatz Llama 3.3 70B INT4 auf 1× RTX PRO 6000, vLLM, 400 parallele Requests, 1.000 In / 1.000 Out	~1.030 Tokens/s aggregiert	CloudRift
Claude Haiku 5.5	0,10 $ Input / 0,50 $ Output je Mio. Tokens	Anthropic
Haiku blended, 75 % Input / 25 % Output	0,20 $ = 0,18 € je Mio. Tokens	1 $ = 0,89 € (12.10.2026)

Personalkosten für vLLM-Updates, Monitoring, Modellwechsel und Nachtschichten bei Ausfall sind nicht drin. Die Rechnung ist damit großzügig gegenüber dem Self-Hosting. Die 1.030 Tokens pro Sekunde sind außerdem ein Laborwert mit 400 gleichzeitigen Anfragen. Ein Mittelständler mit 80 Nutzern erreicht diese Parallelität nie, ein einzelner Chat-Stream auf dieser Karte liegt bei rund 25 Tokens pro Sekunde.

Break-even: 1.224 € geteilt durch 0,18 € je Mio. Tokens ergibt rund 6,8 Mrd. Tokens pro Monat, die die Karte produzieren müsste, damit die Fixkosten gerade so gegen Haiku aufgehen. Das sind 228 Mio. Tokens am Tag, jeden Tag, auch sonntags.

Was die Karte physisch schafft:

Auslastung	Tokens/Monat	Kosten bei Haiku 5.5	Kosten GPU	Faktor daneben
10 % (realistisch, untere Kante)	267 Mio.	48 €	1.224 €	26
15 % (realistisch, obere Kante)	400 Mio.	72 €	1.224 €	17
25 % (Bürozeit, konstante Last)	667 Mio.	119 €	1.224 €	10
100 % (24/7 Volllast, 400 parallele Requests)	2.670 Mio.	478 €	1.224 €	2,6

Bei 15 Prozent Auslastung liegt die Rechnung Faktor 17 daneben. Selbst bei physisch unmöglicher Dauervolllast mit Laborparallelität bleibt die Cloud um Faktor 2,6 günstiger. Der Break-even liegt beim Zweieinhalbfachen dessen, was die Karte überhaupt liefern kann. Es gibt keine Auslastung, bei der dieser Server gegen Haiku gewinnt.

Wer statt Hetzner eine H100 mietet, zahlt bei spezialisierten Anbietern 2 bis 4 $ pro Stunde, also 1.300 bis 2.600 € im Monat bei Dauerbetrieb. Hetzner selbst bietet keine A100 oder H100 an. Die eigene H100 im eigenen Rechenzentrum landet mit Abschreibung, Strom und Kühlung in derselben Größenordnung. Die Rechnung verschiebt sich dadurch um einen Faktor, aber das Vorzeichen bleibt.

Gegen welches Modell du vergleichst, entscheidet die Rechnung

Jetzt die Mogelei. Dieselben 400 Mio. Tokens bei 15 Prozent Auslastung, gegen drei Claude-Modelle gerechnet:

Vergleichsmodell	Preis In / Out je Mio.	Blended 75/25	Cloud-Kosten für 400 Mio. Tokens	GPU 1.224 €	Ergebnis
Haiku 5.5	0,10 / 0,50 $	0,18 €	72 €	1.224 €	Cloud Faktor 17 günstiger
Sonnet 5.5	2 / 10 $	3,58 €	1.431 €	1.224 €	GPU 14 % günstiger
Opus 5.5	4 / 20 $	7,15 €	2.862 €	1.224 €	GPU Faktor 2,3 günstiger

So entstehen die Folien, auf denen Self-Hosting gewinnt: ein 70B-Modell in 4-Bit-Quantisierung gegen den Opus-Preis. Das ist derselbe Trick wie ein Dacia gegen den Listenpreis einer S-Klasse. Haiku 5.5 ist das Modell, das in Qualität, Kontextlänge und Tool-Use mit einem lokalen 70B mindestens mithält. Sobald der Kunde Sonnet- oder Opus-Qualität braucht, hat er lokal keine Option, die sie liefert. Und selbst gegen Sonnet kippt die Rechnung, sobald die Auslastung unter 13 Prozent fällt. Bei 10 Prozent kostet Sonnet für die 267 Mio. Tokens 956 €, die Karte weiterhin 1.224 €.

Zwei Effekte verschärfen das noch, und beide kann der Einzelne nicht nachbilden:

Prompt Caching. Bei agentischen Workloads mit langen, wiederkehrenden Kontexten liest Anthropic den Großteil des Inputs aus dem Cache, zu einem Bruchteil des Input-Preises. SemiAnalysis nennt die hohen Cache-Hit-Raten als einen Grund für den Margensprung. Ein lokaler vLLM mit 26 GB freiem KV-Cache hat diesen Hebel in dieser Form nicht.
Batch API. Alles, was nicht in Echtzeit laufen muss, kostet bei Anthropic die Hälfte. Genau die Nacht-Batches, mit denen der Self-Hoster seine Auslastung hochtreiben wollte, werden in der Cloud noch einmal billiger.

Die Mittelschicht, die im Gespräch fehlt

Der Datenschutzbeauftragte hat am Anfang genickt, weil er nur zwei Optionen gesehen hat: US-Cloud oder eigener Keller. Dazwischen liegt die Schicht, die in neun von zehn Mittelstandsfällen die Antwort ist.

Claude läuft über Bedrock und Vertex in Frankfurt. Mistral sitzt in Paris und bietet seine Modelle mit EU-Datenverarbeitung an. IONOS und StackIT hosten offene Modelle in deutschen Rechenzentren. Alle vier Varianten liefern Datenresidenz in der EU, Auftragsverarbeitungsvertrag, Zero-Retention-Optionen und die Elastizität der Cloud zum Token-Preis. Der Aufpreis gegenüber dem US-Endpoint ist gering, der Abstand zur eigenen GPU bleibt bei Faktor 17.

Wer „die Daten verlassen das Haus nicht” fordert, muss diese Schicht aktiv ablehnen, mit einem Grund, der auf dem Papier steht. Die Fragen dafür stehen im Mindestmaß-Katalog für SaaS-Anbieter.

Wann die eigene GPU trotzdem richtig ist

Drei Fälle, in denen ich Self-Hosting selbst empfehle:

Verarbeitung extern ist verboten, nicht nur ungewollt. Verschlusssachen, Berufsgeheimnis nach § 203 StGB, Kunden-NDAs, die jede Weitergabe an Subunternehmer ausschließen, Betriebsgeheimnisse, für die ein Auftragsverarbeitungsvertrag dem Vorstand nicht reicht. Hier ist die Mehrkostenfrage beantwortet, bevor sie gestellt wird.
Kein Netz. Die Produktionshalle ohne Internet-Anbindung, das Schiff, der Standort mit Latenzanforderungen unter 50 Millisekunden. Edge-Inferenz ist eine technische Entscheidung, die Wirtschaftlichkeitsfrage stellt sich dort gar nicht.
Milliarden Tokens im Monat bei flacher Last. Wer eine Pipeline hat, die 24 Stunden gleichmäßig Dokumente klassifiziert, kommt an die Auslastung von Anthropic heran. Das sind in DACH eine Handvoll Firmen, und die haben eigene Infrastruktur-Teams. Und selbst die müssen gegen die Batch-API rechnen.

Für alle anderen gilt: Die Datenschutzentscheidung ist legitim und darf 1.150 € im Monat kosten. Dann steht sie aber als Datenschutzentscheidung im Budget, mit dem Faktor daneben, den man dafür bezahlt.

Meine Perspektive 🎯

Lokale KI wird mit der falschen Folie verkauft. Der Systemhaus-Vertrieb rechnet 70B INT4 gegen Opus und nennt das TCO. Wer das vorgelegt bekommt, fragt nach der Haiku-Spalte. Meist ist das Gespräch danach zu Ende.
Auslastung schlägt Hardwarepreis. Ob die Karte 889 oder 1.199 € kostet, ändert den Faktor von 13 auf 17. Ob sie 12 oder 100 Prozent läuft, ändert ihn von 21 auf 2,6. Eine Self-Hosting-Rechnung ohne ausgewiesene Auslastungsannahme ist eine Wunschliste.
Die Marge von Anthropic lässt sich vom Kunden nicht einsparen. Sie ist die Rendite auf eine Lastkurve, die nur ein globaler Betreiber hat. Man kann sie bewundern oder beneiden. Nachbauen kann man sie mit einem Server in Falkenstein nicht.
Der Preisverfall läuft gegen die Hardware. Haiku 4.5 kostete vor einem Jahr 1 $ Input und 5 $ Output. Haiku 5.5 kostet ein Zehntel davon. Der GEX131 ist im selben Zeitraum um 35 Prozent teurer geworden, weil Speicher knapp ist. Wer heute eine Karte auf 24 Monate abschreibt, rechnet gegen einen Token-Preis, der bis dahin noch zweimal halbiert wurde.
Datenschutz ist ein Kaufgrund, Kosten sind keiner. Wer lokale KI als Sparmaßnahme verkauft, bekommt nach zwölf Monaten den Controller mit der Stromrechnung ins Büro. Wer sie als Compliance-Entscheidung verkauft, hat einen zufriedenen Kunden, der weiß, wofür er zahlt.

Fazit: Vier Zahlen, die jede Self-Hosting-Entscheidung braucht

Bevor ein GPU-Server bestellt wird, gehören vier Zahlen auf ein Blatt:

Effektive Monatskosten der Hardware inklusive Setup-Anteil, Strom und dem Personal, das sie betreibt.
Erwartete reale Auslastung in Prozent der 8.760 Jahresstunden, mit Begründung. Ohne Nacht-Batches sind 10 bis 15 Prozent der Default.
Das Cloud-Modell, das dem lokalen in Qualität entspricht, und dessen Token-Preis blended nach dem eigenen Input/Output-Mix. Für ein 70B-Modell ist das Haiku.
Das Break-even-Volumen: Monatskosten geteilt durch Cloud-Preis je Token. Liegt die physisch produzierbare Menge bei der angenommenen Auslastung darunter, ist die Entscheidung eine Datenschutzentscheidung. Dann darf sie so heißen.

Für den Hetzner-Fall lautet das Ergebnis: Break-even 6,8 Mrd. Tokens, produzierbar bei 15 Prozent 400 Mio., Faktor 17 daneben. Wer seine eigenen Werte einsetzen will: Der Self-Hosting-Rechner rechnet die vier Formeln im Browser durch, ohne dass Daten das Haus verlassen.