Kundengeschichte

Wie Sentry ausufernde KI-Kosten begrenzte, ohne den Zugang einzuschränken

Sentry wollte, dass alle mit KI experimentieren, damit sie diese nach eigenem Ermessen nutzen konnten. Nach einigen Monaten stiegen die Kosten, und niemand konnte sagen, wer wie viel für welche Modelle ausgab oder ob diese Modelle die richtigen waren. Im Juli 2026 verlagerte Sentry seine interne KI-Nutzung auf OpenRouter, bereinigte innerhalb von drei Wochen rund 500 Anthropic- und OpenAI-Schlüssel und schaltete im August den direkten Zugriff auf beide ab. Die Einführung gab Sentry zugleich mehr Kontrolle und Zugang zu mehr Modellen. Ausgaben lassen sich nun der dahinterstehenden Person oder dem Workspace zuordnen, und Entwickler können jedes neue Modell ohne eine Anbieterfreigabe ausprobieren.

Über Sentry

Sentry ist die Plattform zur Anwendungsüberwachung, mit der Millionen von Entwicklern fehlerhaften Code finden und beheben. Die Kunden von Sentry setzen KI-Programmierwerkzeuge schneller ein als fast alle anderen, und alle bei Sentry arbeiten genauso. Sie testen neue Modelle am Tag ihrer Veröffentlichung und entwickeln eigene Agenten, und der KI-Zugang steht allen offen.

Heute läuft jedes interne Tool bei Sentry, das einen Modell-API-Schlüssel benötigt, über OpenRouter, einschließlich Warden, dem Agenten von Sentry für Code- und Sicherheitsprüfungen. Das gilt auch für den offiziellen Sentry-MCP-Server, mit dem sich die Kunden verbinden.

Die Herausforderung

Niemand konnte sagen, wohin das Geld floss

Daniel Griesser, der seit zehn Jahren bei Sentry arbeitet und dessen Telemetrie-Team von Wien aus leitet, führte den Wechsel des Unternehmens zu OpenRouter an. Er beschreibt den frühen Umgang des Unternehmens mit KI-Tools als Wilden Westen. Sentry hatte Enterprise-Konten bei Anthropic und OpenAI, jeder konnte API-Schlüssel erstellen, und dafür gab es keinen geregelten Prozess. Das war Absicht. Die Führung wollte, dass die Mitarbeitenden experimentierten, und einige Monate lang funktionierte diese Vorgehensweise.

Die Schwierigkeiten begannen bei der Transparenz. Sentry-Mitgründer David Cramer entwickelte auf Basis der APIs der Anbieter ein Ausgaben-Dashboard – eine Arbeit von einigen Tagen, die Sentry später auf GitHub veröffentlichte, unter dem Namen abacus. Es funktionierte, bis Sentry auf Enterprise-Kontotypen umstieg. Einige Berichte kamen als CSV-Datei mit den Gesamtausgaben, ohne Aufschlüsselung nach Person oder Modell und ohne Daten zu Cache-Treffern. Unterdessen stiegen die Ausgaben weiter.

Ein Fall zeigte, wie viel die Berichte verbergen konnten. Die Nutzung eines Entwicklers kostete schließlich 3.000 $ pro Tag, weil eine benutzerdefinierte Erweiterung seines Coding-Harness bei jeder Anfrage den Prompt-Zwischenspeicher ungültig machte, sodass Token, die aus dem Cache hätten bedient werden sollen, zum vollen Preis abgerechnet wurden. Das lief einige Tage lang, bevor Griesser es bemerkte, und er entdeckte es nur, weil der Entwickler einen selbst erstellten API-Schlüssel verwendete. Bei einer Nutzung über einen Enterprise-Login, so Griesser, wäre dieselbe Nutzung nie sichtbar geworden. Sobald die Zwischenspeicherung wieder funktionierte, sanken die Nutzungskosten des Entwicklers auf einen Bruchteil davon.

„Wir mussten etwas ändern, denn so konnte es nicht weitergehen. Wir hatten keine Ahnung, wohin das Geld floss oder wer wie viel ausgab.“

Daniel GriesserSenior Director of Engineering, Sentry

Das zweite Problem war die Auswahl. Vor OpenRouter standen den Entwicklern von Sentry eine Handvoll Modelle von zwei Anbietern zur Verfügung. Für alles andere war eine neue Anbieterfreigabe nötig, und für jemanden, der einen Nachmittag lang ein Modell mit offenen Gewichten testen wollte, lohnte es sich nicht, diesen Prozess anzustoßen. Entwickler, die diese Modelle ausprobieren wollten, nutzten ihre eigenen privaten Konten, wodurch die Nutzung für Sentry völlig unsichtbar blieb.

„Ein anderes Modell über einen anderen Anbieter einzuführen oder einfach einmal auszuprobieren, stand praktisch gar nicht zur Debatte.“

Daniel GriesserSenior Director of Engineering, Sentry

Die OpenRouter-Lösung

Alle erhalten einen Schlüssel und ein Budget

Bevor Griesser einen Anbieter auswählte, prüfte er den Betrieb von LiteLLM zur Verwaltung des Teamzugriffs. Das war machbar, aber Sentry hätte es selbst hosten und warten müssen. Für die Verwaltung der täglichen KI-Nutzung im gesamten Unternehmen wollte Sentry eine Lösung, die es nicht selbst betreiben musste.

Griesser kannte OpenRouter bereits aus seiner eigenen Arbeit, und da Cramer den Wechsel unterstützte, gingen die rechtliche Prüfung und die Genehmigungen schnell vonstatten.

„Wir können alles in der Benutzeroberfläche zusammenklicken und einrichten, und jemand anderes trägt die Verantwortung dafür, dass es weiterläuft.“

Daniel GriesserSenior Director of Engineering, Sentry

Zero Data Retention war eine Anforderung, daher aktivierte Sentry die Funktion standardmäßig und beschränkte das Routing ansonsten über Bring-your-own-key (BYOK) auf die eigenen Anbieterschlüssel. Die Coding-Harnesses und die meisten Workspaces nutzen auf diese Weise die bestehenden Anthropic- und OpenAI-Schlüssel von Sentry, während OpenRouter die Zuordnung und die Limits übernimmt.

Der Rollout begann Anfang Juli 2026. Alle erhielten am ersten Tag Zugriff, auch Teams außerhalb der Entwicklung, und konnten beliebig viele Schlüssel erstellen. Standardmäßig ist jeder Schlüssel an den Benutzer gebunden, der ihn erstellt. Jeder Workspace hat eine Gesamtobergrenze in Höhe eines vom CFO von Sentry genehmigten Budgets, und kein Workspace hat seine Obergrenze erreicht.

Workspace-Einstellungen mit Budgets, einer Gesamtobergrenze und einer monatlichen Obergrenze, jeweils mit einem Balken für die Ausgaben im aktuellen Zeitraum

Die Umstellung eines Tools war der schnelle Teil. Da OpenRouter Anthropic-kompatible und OpenAI-kompatible Endpunkte bereitstellt, mussten laut Griesser lediglich drei Variablen geändert werden, während das bereits vom Tool verwendete SDK beibehalten werden konnte. Die Bereinigung dauerte länger. Nur etwa 50 der rund 500 Anthropic- und OpenAI-Schlüssel wurden täglich genutzt, und Sentry musste jeden einzelnen davon ausfindig machen. Griesser übernahm einen Großteil der Nachverfolgung selbst und gab jedem Verantwortlichen eine Woche Zeit, einen OpenRouter-Schlüssel zu erstellen, bevor der alte deaktiviert wurde. Die gesamte Migration dauerte etwa drei Wochen, und im August deaktivierte Sentry den direkten Zugriff der Entwickler auf beide Plattformen, sodass sie dort keine Schlüssel mehr erstellen können.

Die Ergebnisse

Ein neues Modell auszuprobieren erfordert jetzt nur eine Konfigurationsänderung

In den ersten drei Monaten auf OpenRouter wurden über das Konto von Sentry 147 Modelle genutzt. Dabei wird jede Version als eigenes Modell gezählt, sodass mehrere Claude- und GPT-Modellreihen mehrfach erscheinen. Wenn ein neues Modell erscheint, etwa eine Grok- oder Gemini-3.7-Version, richtet ein Entwickler einen Schlüssel darauf aus und führt die Evaluierung durch.

Aktivitätstrends mit Ausgaben im Zeitverlauf nach Modell und Nutzer sowie Seitenbereichen mit Ranglisten der Modelle und Nutzer mit steigenden oder sinkenden Werten

„Früher dauerte es eine Weile, bis ein neues Modell genehmigt wurde. Jetzt ist das kein Problem mehr.“

Daniel GriesserSenior Director of Engineering, Sentry

In einem Beitrag auf X im Juli schrieb Cramer, dass Sentry Grok 4.5 anhand der Evaluierungssuiten für Warden und Junior getestet habe und dass es gemessen an Preis und Latenz gut abgeschnitten habe. Auf dem Konto wurde Grok 4.5 gemessen an den Ausgaben zu einem der größten Modelle.

Frontier-Modelle machen weiterhin den Großteil der Nutzung von Sentry aus. Auf Open-Weight-Modelle entfielen etwa 12 % der Token, die meisten davon auf Kimi K2.6, das Evaluierungssuiten für Sentrys interne Werkzeuge ausführte, darunter Warden.

„Die Leute haben definitiv mit den Open-Weight-Modellen experimentiert und setzen sie für einige Anwendungsfälle ein, weil sie für die Aufgabe, die ihr Modell erledigen soll, kosteneffizienter sind.“

Daniel GriesserSenior Director of Engineering, Sentry

GPT-5.6 Luna ist der Standard für Werkzeuge mit hohem Anfragevolumen wie den offiziellen Sentry-MCP-Server und verarbeitete 30,8 % der Token des Kontos bei 5,2 % seiner Modellausgaben.

Teams bringen ihre eigenen Tools mit

Gemessen am Token-Volumen ist Pi, ein minimalistischer Open-Source-Terminal-Agent von Earendil, das am zweithäufigsten genutzte Coding-Tool auf Sentrys Konto und liegt fast gleichauf mit Claude Code. Dahinter folgen OpenCode, Codex, Cursor und zahlreiche weitere Agenten, die Sentrys Entwickler selbst gebaut haben und die alle über dasselbe Konto laufen.

Aktivitätstrends mit Ausgaben im Zeitverlauf nach API-Schlüssel und App sowie Seitenbereichen mit Ranglisten der Schlüssel und Apps mit steigenden oder sinkenden Ausgaben

„Es ist wirklich angenehm, wenn Sie Ihren eigenen Agenten-Harness verwenden oder selbst einen Agenten bauen. Sie haben einen Schlüssel und können konfigurieren, welches Modell Sie verwenden möchten.“

Daniel GriesserSenior Director of Engineering, Sentry

113 Personen haben inzwischen Konten, und sie kommen nicht nur aus der Entwicklung. Rahul Chhabria, Sentrys VP of Marketing, hat einen produktiven Dienst entwickelt, um Sentrys Startup-Programm zu betreiben, und dieser läuft inzwischen auf OpenRouter. Das Supportteam hat über dasselbe Konto eigene Evals erstellt. Insgesamt senden 45 oder mehr Apps ihren Datenverkehr darüber.

Jede Anfrage hat einen Verantwortlichen

Der Wechsel zu OpenRouter hat die Höhe der Ausgaben von Sentry nicht verändert, sagt Griesser. Da Schlüssel an Benutzer oder Workspaces gebunden sind, ist jede Anfrage einem Verantwortlichen und einem Modell zugeordnet und üblicherweise auch dem Tool, das sie gesendet hat. Alle Entwickler können auf ihren Benutzernamen klicken und sehen, wie viel sie ausgegeben haben.

Aktivität-Explorer mit der nach Workspace und App gruppierten Gesamtnutzung als gestapeltem Balken und einer Ranglistentabelle der Workspace-App-Paare

Ausreißer werden im Dashboard sichtbar

Griesser überfliegt das Dashboard etwa alle zwei Wochen. Ende September entdeckte er im Tools-Workspace von Sentry Nutzungskosten von 8.000 $ für einen einzigen Schlüssel. Der Schlüssel hatte den falschen Eigentümer. Ein Entwickler hatte ihn für ein Tool erstellt, das jemand anderem gehörte. Griesser benannte ihn um und wandelte ihn in einen Workspace-Schlüssel um. Schlüssel können zwischen Workspaces oder von einer Person zu einem Workspace verschoben werden, ohne das Token neu zu generieren, sodass nichts erneut bereitgestellt werden musste.

Sentry legt in seinem Standard-Workspace inzwischen ein Wochenbudget von 1.500 $ pro Person fest, und jeder Workspace hat eine eigene Obergrenze. Diese Limits dienen als Guardrail gegen Kostenausreißer. Wenn ein Schlüssel sein Limit erreicht, wird er gestoppt. Entweder fragt die betreffende Person nach dem Grund, oder eine Benachrichtigung wird ausgelöst, und die Frage wird eskaliert.

Formular für einen neuen Guardrail mit einem Budgetabschnitt zur Festlegung eines Guthabenlimits in USD pro zugewiesener Person und der Häufigkeit, mit der das Limit zurückgesetzt wird

„Früher konnte ein einzelner Entwickler oder Nutzer unsere gesamte KI-Rechnung sehr leicht explodieren lassen, weil es keine Kontrolle, keinen Guardrail und keine zusätzliche Absicherung gab.“

Daniel GriesserSenior Director of Engineering, Sentry

Die Führung musste sich nicht mehr auf Überraschungen gefasst machen

Für die technische Führung von Sentry begrenzten die Limits die Höhe überraschender Rechnungen. Auf die Frage, was er einer anderen technischen Führungskraft sagen würde, die denselben Schritt erwägt, fasste sich Griesser kurz.

„Führen Sie es ein und schauen Sie nicht zurück. Es löst einfach Probleme, mit denen Sie sich eigentlich nicht beschäftigen möchten.“

Daniel GriesserSenior Director of Engineering, Sentry

Weitere Kundengeschichten

Entwickeln Sie Ihr Produkt auf OpenRouter

Eine API für jedes Modell, mit automatischen Fallbacks über Anbieter hinweg.