História de cliente

Como a Sentry conteve os gastos descontrolados com IA sem restringir o acesso

A Sentry queria que todos experimentassem IA, para que as pessoas pudessem usá-la como achassem melhor. Após alguns meses, a conta estava aumentando e ninguém conseguia dizer quem estava gastando quanto, em quais modelos ou se esses modelos eram os mais adequados. Em julho de 2026, a Sentry migrou seu uso interno de IA para o OpenRouter, organizou cerca de 500 chaves da Anthropic e da OpenAI em três semanas e, em agosto, desativou o acesso direto a ambas. A implantação deu à Sentry um controle mais rigoroso e um acesso mais amplo a modelos ao mesmo tempo. Agora é possível rastrear os gastos até a pessoa ou o espaço de trabalho responsável, e os engenheiros podem experimentar qualquer modelo novo sem aprovação de um fornecedor.

Sobre a Sentry

Sentry é a plataforma de monitoramento de aplicações que milhões de desenvolvedores usam para encontrar e corrigir código com problemas. Seus clientes adotam ferramentas de programação com IA mais rápido do que quase todos os outros, e todos na Sentry trabalham da mesma forma. Eles experimentam novos modelos no dia do lançamento e criam seus próprios agentes, e o acesso à IA é aberto a todos.

Hoje, toda ferramenta interna da Sentry que precisa de uma chave de API de modelo passa pelo OpenRouter, incluindo o Warden, agente da Sentry para revisão de código e segurança. O mesmo vale para o servidor MCP oficial da Sentry ao qual seus clientes se conectam.

O desafio

Ninguém sabia dizer para onde o dinheiro estava indo

Daniel Griesser, que está na Sentry há dez anos e lidera sua equipe de telemetria a partir de Viena, conduziu a migração da empresa para o OpenRouter. Ele descreve a abordagem inicial da empresa em relação às ferramentas de IA como um Velho Oeste. A Sentry tinha contas corporativas na Anthropic e na OpenAI, qualquer pessoa podia criar chaves de API e não havia um processo para isso. Isso era intencional. A liderança queria que as pessoas experimentassem e, por alguns meses, esse arranjo funcionou.

Os problemas começaram com a visibilidade. O cofundador da Sentry, David Cramer, criou um painel de gastos usando as próprias APIs dos provedores, um trabalho de alguns dias que a Sentry depois publicou no GitHub como abacus. Ele funcionou bem até a Sentry migrar para tipos de conta corporativa. Alguns relatórios chegavam como um CSV com o gasto total, sem detalhamento por pessoa ou por modelo e sem dados sobre acertos de cache. Enquanto isso, os gastos continuavam subindo.

Um caso mostrou o quanto os relatórios podiam esconder. O uso de um engenheiro chegou a US$ 3.000 por dia porque uma extensão personalizada em seu harness de programação estava invalidando o cache de prompts a cada requisição, de modo que tokens que deveriam ter sido fornecidos a partir do cache eram cobrados pelo preço integral. Isso continuou por alguns dias até Griesser perceber, e ele só detectou o problema porque o engenheiro usava uma chave de API que ele mesmo havia criado. Se estivesse incluído em um login corporativo, diz ele, o mesmo uso nunca teria aparecido. Quando o cache voltou a funcionar, o uso do engenheiro caiu para uma fração desse valor.

“Precisávamos mudar alguma coisa, porque aquilo não era sustentável. Não tínhamos ideia de para onde o dinheiro estava indo nem de quem estava gastando quanto.”

Daniel GriesserDiretor sênior de engenharia, Sentry

O segundo problema era a variedade de opções. Antes do OpenRouter, os engenheiros da Sentry tinham alguns modelos de dois provedores. Conseguir qualquer outro exigia a aprovação de um novo fornecedor e, para quem queria passar uma tarde testando um modelo com pesos abertos, não valia a pena iniciar esse processo. Os engenheiros que queriam experimentar esses modelos usavam suas próprias contas pessoais, o que deixava esse uso fora de qualquer visibilidade da Sentry.

“Adotar ou experimentar aleatoriamente qualquer outro modelo por meio de qualquer outro provedor era basicamente uma conversa que nem chegava a começar.”

Daniel GriesserDiretor sênior de engenharia, Sentry

A solução da OpenRouter

Todos recebem uma chave e um orçamento

Antes de escolher um provedor, Griesser considerou executar o LiteLLM para gerenciar o acesso da equipe. Era viável, mas a Sentry teria que hospedá-lo e mantê-lo. Para gerenciar como as pessoas de toda a empresa usam IA no dia a dia, ela queria algo que não precisasse operar.

Griesser já conhecia a OpenRouter por seu próprio trabalho e, com o apoio de Cramer à mudança, a análise jurídica e as aprovações avançaram rapidamente.

“Podemos configurar tudo com cliques na interface, e outra pessoa fica responsável por manter tudo funcionando.”

Daniel GriesserDiretor sênior de engenharia, Sentry

Zero Data Retention era um requisito, então a Sentry habilitou o recurso por padrão e, fora isso, limitou o roteamento às suas próprias chaves de provedor por meio do uso de chaves próprias (BYOK). Os harnesses de programação e a maioria dos espaços de trabalho usam as chaves existentes da Sentry para Anthropic e OpenAI dessa forma, com a OpenRouter cuidando da atribuição e dos limites.

A implantação começou no início de julho de 2026. Todos receberam acesso no primeiro dia, incluindo equipes fora da engenharia, e as pessoas podiam criar quantas chaves quisessem. Por padrão, cada chave é vinculada ao usuário que a cria. Cada espaço de trabalho tem um limite geral definido de acordo com um orçamento aprovado pelo CFO da Sentry, e nenhum espaço de trabalho atingiu seu limite.

Configurações do espaço de trabalho mostrando Orçamentos, com um limite vitalício e um limite mensal, cada um com uma barra de gastos do período atual

Migrar uma ferramenta foi a parte rápida. Como a OpenRouter expõe endpoints compatíveis com Anthropic e OpenAI, Griesser diz que bastou alterar três variáveis e manter o SDK que a ferramenta já usava. A limpeza levou mais tempo. Apenas cerca de 50 das aproximadamente 500 chaves da Anthropic e da OpenAI eram usadas diariamente, e a Sentry precisou localizar cada uma delas. O próprio Griesser fez boa parte desse acompanhamento, dando a cada responsável uma semana de antecedência para criar uma chave da OpenRouter antes que a antiga fosse desativada. Toda a migração levou cerca de três semanas e, em agosto, a Sentry desativou o acesso direto dos engenheiros às duas plataformas, de modo que eles já não podem criar chaves nelas.

Os resultados

Experimentar um novo modelo agora exige apenas uma alteração de configuração

Nos primeiros três meses no OpenRouter, a conta da Sentry usou 147 modelos. Essa contagem considera cada versão como um modelo próprio, por isso várias linhas Claude e GPT aparecem mais de uma vez. Quando um novo modelo é lançado, como uma versão do Grok ou do Gemini 3.7, um engenheiro direciona uma chave para ele e executa a avaliação.

Tendências de atividade mostrando gastos ao longo do tempo por modelo e por usuário, com painéis laterais classificando quais modelos e usuários estão em alta ou em queda

“Antes, levava algum tempo para conseguir a aprovação de um novo modelo. E agora isso deixou de ser um problema.”

Daniel GriesserDiretor sênior de engenharia, Sentry

Em uma publicação de julho no X, Cramer escreveu que a Sentry comparou o Grok 4.5 usando as suítes de avaliação do Warden e do Junior, e que ele teve um bom desempenho considerando seu preço e sua latência. Na conta, o Grok 4.5 se tornou um dos maiores modelos em gastos.

Os modelos de ponta ainda representam a maior parte do uso da Sentry. Os modelos de pesos abertos responderam por cerca de 12% dos tokens, a maior parte proveniente do Kimi K2.6 executando suítes de avaliação para as ferramentas internas da Sentry, incluindo o Warden.

“As pessoas definitivamente experimentaram os modelos de pesos abertos e, em alguns casos de uso, estão usando esses modelos porque são mais econômicos para a tarefa que precisam que o modelo realize.”

Daniel GriesserDiretor sênior de engenharia, Sentry

O GPT-5.6 Luna é o padrão para ferramentas de alto volume, como o servidor MCP oficial da Sentry, e respondeu por 30,8% dos tokens da conta, com 5,2% dos gastos com modelos.

As equipes trazem suas próprias ferramentas

Por volume de tokens, a segunda ferramenta de programação mais usada na conta da Sentry é o Pi, um agente de terminal minimalista de código aberto da Earendil, quase empatado com o Claude Code. Em seguida vêm OpenCode, Codex, Cursor e uma longa cauda de agentes que os próprios engenheiros da Sentry criaram, todos rodando na mesma conta.

Tendências de atividade mostrando gastos ao longo do tempo por chave de API e por aplicativo, com painéis laterais classificando quais chaves e aplicativos estão em alta ou em queda

“É uma experiência muito boa se você usa seu próprio harness de agente ou está criando um agente por conta própria. Você tem uma chave e pode configurar qual modelo quer usar.”

Daniel GriesserDiretor sênior de engenharia, Sentry

113 pessoas agora têm contas, e elas vão além da engenharia. Rahul Chhabria, vice-presidente de marketing da Sentry, criou um serviço em produção para operar o programa de startups da Sentry, e ele agora roda no OpenRouter. A equipe de suporte criou suas próprias avaliações na mesma conta. Ao todo, 45 ou mais aplicativos enviam tráfego por ela.

Toda solicitação tem um responsável

A mudança para o OpenRouter não alterou o volume de gastos da Sentry, diz Griesser. Como as chaves estão vinculadas a usuários ou espaços de trabalho, toda solicitação está associada a um responsável e a um modelo e, geralmente, à ferramenta que a enviou. Qualquer engenheiro pode clicar no próprio nome de usuário e ver quanto gastou.

Exploração de atividade mostrando o uso total agrupado por espaço de trabalho e aplicativo, em uma barra empilhada com uma tabela de classificação de pares de espaços de trabalho e aplicativos

Valores atípicos aparecem no painel

Griesser dá uma olhada no painel aproximadamente a cada duas semanas. No fim de setembro, ele encontrou US$ 8.000 de uso em uma única chave no espaço de trabalho Tools da Sentry. A chave estava com o proprietário errado. Um engenheiro a havia criado para uma ferramenta que pertencia a outra pessoa. Griesser a renomeou e a transformou em uma chave do espaço de trabalho. As chaves podem ser movidas entre espaços de trabalho, ou de uma pessoa para um espaço de trabalho, sem gerar o token novamente, então nada precisou ser reimplantado.

Agora, a Sentry define um orçamento semanal de US$ 1.500 por pessoa em seu espaço de trabalho padrão, e cada espaço de trabalho tem seu próprio teto. Esses limites são seu guardrail contra gastos atípicos. Quando uma chave atinge seu limite, ela para de funcionar. Ou a pessoa pergunta o motivo, ou uma notificação é disparada, e a questão é escalada.

Formulário de novo guardrail com uma seção de orçamento que define um limite de créditos em USD por destinatário e a frequência de redefinição do limite

“Antes, era muito fácil um engenheiro ou um usuário fazer nossa conta total de IA disparar, porque não havia controle, nem guardrail, nem mecanismo de contenção.”

Daniel GriesserDiretor sênior de engenharia, Sentry

A liderança deixou de se preparar para surpresas

Para a liderança de engenharia da Sentry, os limites estabeleceram um teto para cobranças inesperadas. Questionado sobre o que diria a outro líder de engenharia considerando a mesma mudança, Griesser foi breve.

“Adote e não olhe para trás. Simplesmente resolve problemas com os quais você realmente não quer gastar tempo.”

Daniel GriesserDiretor sênior de engenharia, Sentry

Mais histórias de clientes

Desenvolva seu produto no OpenRouter

Uma API para todos os modelos, com alternativas automáticas entre provedores.