고객 사례

Sentry가 접근을 제한하지 않고 급증하는 AI 비용을 억제한 방법

Sentry는 모두가 AI를 실험하며 각자 적합하다고 생각하는 방식으로 활용하기를 원했습니다. 몇 달이 지나자 비용이 증가하기 시작했지만 누가 어떤 모델에 얼마나 지출하는지, 해당 모델이 적합한지 아무도 알 수 없었습니다. 2026년 7월, Sentry는 내부 AI 사용을 OpenRouter로 이전하고 3주 만에 약 500개의 Anthropic 및 OpenAI 키를 정리했으며, 8월에는 두 제공업체에 대한 직접 접근을 차단했습니다. 이 도입으로 Sentry는 통제력을 강화하는 동시에 더 다양한 모델에 접근할 수 있게 되었습니다. 이제 비용을 지출한 사람이나 워크스페이스를 추적할 수 있으며, 엔지니어는 공급업체 승인 없이 새로운 모델을 자유롭게 사용해 볼 수 있습니다.

Sentry 소개

Sentry 는 수백만 명의 개발자가 오류가 있는 코드를 찾아 수정하는 데 사용하는 애플리케이션 모니터링 플랫폼입니다. Sentry 고객은 거의 누구보다 빠르게 AI 코딩 도구를 도입하며, Sentry의 모든 구성원도 같은 방식으로 일합니다. 이들은 새 모델이 출시되는 날 바로 사용해 보고 자체 에이전트를 구축하며, 누구나 AI를 이용할 수 있습니다.

현재 Sentry에서 모델 API 키가 필요한 모든 내부 도구는 코드 및 보안 검토 에이전트인 Warden을 포함하여 OpenRouter를 통해 실행됩니다. 고객이 연결하는 공식 Sentry MCP 서버도 마찬가지입니다.

과제

돈이 어디에 쓰이는지 아무도 알 수 없었습니다

Sentry에서 10년간 근무하며 빈에서 텔레메트리 팀을 이끄는 Daniel Griesser는 회사의 OpenRouter 도입을 주도했습니다. 그는 회사의 초기 AI 도구 활용 방식을 무법천지에 비유합니다. Sentry는 Anthropic과 OpenAI의 기업용 계정을 보유하고 있었고, 누구나 API 키를 만들 수 있었으며, 이를 위한 절차는 없었습니다. 이는 의도된 것이었습니다. 경영진은 직원들이 실험하기를 원했고, 몇 달 동안은 이 방식이 잘 작동했습니다.

문제는 가시성에서 시작되었습니다. Sentry의 공동 창업자 David Cramer는 제공업체 자체 API를 기반으로 지출 대시보드를 만들었는데, 며칠에 걸쳐 만든 이 도구를 Sentry는 나중에 GitHub에 다음 이름으로 공개했습니다: abacus. 이 도구는 Sentry가 기업용 계정 유형으로 전환하기 전까지는 제 역할을 했습니다. 일부 보고서는 총지출만 담긴 CSV로 제공되었으며, 사람별 또는 모델별 내역도 캐시 적중 데이터도 없었습니다. 그동안 지출은 계속 늘어났습니다.

한 사례는 보고에서 얼마나 많은 것이 가려질 수 있는지 보여주었습니다. 한 엔지니어의 사용 금액이 하루 $3,000에 달했는데, 코딩 하네스의 사용자 지정 확장 기능이 요청마다 프롬프트 캐시를 무효화하여 캐시에서 제공되었어야 할 토큰에 정가가 청구되고 있었기 때문입니다. Griesser가 이를 발견하기까지 며칠이 걸렸으며, 엔지니어가 직접 만든 API 키를 사용하고 있었기 때문에 발견할 수 있었습니다. 그는 같은 사용량이 기업용 로그인에 통합되어 있었다면 결코 드러나지 않았을 것이라고 말합니다. 캐싱이 다시 작동하자 해당 엔지니어의 사용 금액은 이전의 일부 수준으로 줄었습니다.

“지속 가능한 상황이 아니었기 때문에 무언가 바꿔야 했습니다. 돈이 어디에 쓰이는지, 누가 얼마를 쓰는지 전혀 알 수 없었습니다.”

Daniel GriesserSentry 엔지니어링 부문 시니어 디렉터

두 번째 문제는 선택의 폭이었습니다. OpenRouter를 도입하기 전에는 Sentry 엔지니어들이 두 제공업체의 몇 가지 모델만 사용할 수 있었습니다. 다른 모델을 사용하려면 새로운 공급업체 승인이 필요했으며, 오후 한나절 동안 오픈 가중치 모델을 테스트하려는 사람에게는 그 절차를 시작할 만한 가치가 없었습니다. 그런 모델을 사용해 보고 싶은 엔지니어들은 개인 계정을 사용했고, 그 결과 해당 사용량은 Sentry가 파악할 수 있는 범위 밖에 놓였습니다.

“다른 제공업체를 통해 다른 모델을 도입하거나 가볍게 사용해 보는 것은 사실상 논의조차 시작할 수 없는 일이었습니다.”

Daniel GriesserSentry 엔지니어링 부문 시니어 디렉터

OpenRouter 솔루션

모두에게 키와 예산 제공

Griesser는 제공업체를 선택하기 전에 팀 접근 권한을 관리하기 위해 LiteLLM을 운영하는 방안을 검토했습니다. 가능한 방법이었지만 Sentry가 직접 호스팅하고 유지 관리해야 했습니다. 전사 구성원의 일상적인 AI 사용을 관리하기 위해 Sentry는 직접 운영할 필요가 없는 솔루션을 원했습니다.

Griesser는 개인 업무를 통해 이미 OpenRouter를 알고 있었고, Cramer가 도입을 지지하면서 법무 검토와 승인이 신속하게 진행되었습니다.

“UI에서 클릭만으로 모든 것을 설정할 수 있고, 계속 운영할 책임은 다른 곳에서 집니다.”

Daniel GriesserSentry 엔지니어링 부문 시니어 디렉터

Zero Data Retention이 필수 요건이었으므로 Sentry는 이를 기본으로 활성화하고, 그 외에는 자체 키 사용(BYOK)을 통해 자사의 제공업체 키로만 라우팅하도록 제한했습니다. 코딩 하네스와 대부분의 워크스페이스는 이 방식으로 Sentry의 기존 Anthropic 및 OpenAI 키를 사용하며, OpenRouter가 사용 주체 식별과 한도 관리를 처리합니다.

도입은 2026년 7월 초에 시작되었습니다. 엔지니어링 외 부서를 포함한 모든 구성원에게 첫날부터 접근 권한이 주어졌으며, 원하는 만큼 키를 만들 수 있었습니다. 기본적으로 각 키는 해당 키를 만든 사용자에게 연결됩니다. 각 워크스페이스의 전체 한도는 Sentry의 CFO가 승인한 예산으로 설정되어 있으며, 한도에 도달한 워크스페이스는 없습니다.

총 한도와 월간 한도가 있고 각 한도에 현재 기간 지출액 막대가 표시된 예산 항목을 보여 주는 워크스페이스 설정

도구를 이전하는 작업 자체는 빨랐습니다. OpenRouter가 Anthropic 호환 및 OpenAI 호환 엔드포인트를 제공하므로, Griesser에 따르면 변수 세 개만 변경하고 도구에서 이미 사용하던 SDK를 그대로 유지하면 되었습니다. 정리 작업에는 더 오랜 시간이 걸렸습니다. 약 500개의 Anthropic 및 OpenAI 키 중 매일 사용되는 키는 약 50개에 불과했으며, Sentry는 이 키들을 하나하나 추적해야 했습니다. Griesser는 직접 대부분의 소유자를 찾아 연락해 기존 키가 비활성화되기 일주일 전에 OpenRouter 키를 만들도록 안내했습니다. 전체 마이그레이션에는 약 3주가 걸렸으며, 8월에 Sentry는 엔지니어들의 두 플랫폼 직접 접근 권한을 해제하여 더 이상 해당 플랫폼에서 키를 만들 수 없도록 했습니다.

결과

이제 설정 변경만으로 새 모델 테스트

Sentry 계정은 OpenRouter를 사용한 첫 3개월 동안 147개의 모델을 사용했습니다. 이 수치는 각 버전을 별도의 모델로 집계하므로 여러 Claude 및 GPT 계열이 두 번 이상 포함되어 있습니다. Grok이나 Gemini 3.7 릴리스처럼 새 모델이 출시되면 엔지니어가 해당 모델을 사용하도록 키를 설정하고 평가를 실행합니다.

모델별 및 사용자별 시간 경과에 따른 지출을 보여주고, 측면 패널에서 상승하거나 하락하는 모델과 사용자의 순위를 표시하는 활동 추세

"예전에는 새 모델을 승인받는 데 시간이 좀 걸렸습니다. 이제는 더 이상 문제가 되지 않습니다."

Daniel GriesserSentry 엔지니어링 부문 시니어 디렉터

다음 글인 X의 7월 게시물에서 Cramer는 Sentry가 Warden과 Junior의 평가 스위트로 Grok 4.5를 벤치마크했으며 가격과 지연 시간 대비 성능이 좋았다고 썼습니다. 이 계정에서 Grok 4.5는 지출 기준으로 가장 큰 비중을 차지하는 모델 중 하나가 되었습니다.

Sentry 사용량의 대부분은 여전히 프런티어 모델이 차지합니다. 오픈 웨이트 모델은 토큰의 약 12%를 차지했으며, 그 대부분은 Warden을 포함한 Sentry 내부 도구의 평가 스위트를 실행하는 Kimi K2.6에서 발생했습니다.

"사람들은 확실히 오픈 웨이트 모델을 실험해 보았고, 일부 사용 사례에서는 모델에 맡겨야 하는 작업에 더 비용 효율적이기 때문에 이 모델들을 사용하고 있습니다."

Daniel GriesserSentry 엔지니어링 부문 시니어 디렉터

GPT-5.6 Luna는 공식 Sentry MCP 서버처럼 사용량이 많은 도구의 기본 모델이며, 계정 모델 지출의 5.2%로 계정 토큰의 30.8%를 처리했습니다.

각자의 도구를 사용하는 팀

토큰 사용량 기준으로 Sentry 계정에서 두 번째로 많이 사용되는 코딩 도구는 Earendil의 미니멀 오픈 소스 터미널 에이전트인 Pi로, Claude Code와 거의 비슷한 수준입니다. 그 뒤를 OpenCode, Codex, Cursor와 Sentry 엔지니어들이 직접 만든 다양한 에이전트가 잇고 있으며, 모두 동일한 계정에서 실행됩니다.

API 키 및 앱별 시간에 따른 지출을 보여주고, 증가하거나 감소하는 키와 앱의 순위를 측면 패널에 표시하는 활동 추세 화면

“자체 에이전트 하네스를 사용하거나 에이전트를 직접 구축하는 경우 정말 편리합니다. 키 하나로 사용하려는 모델을 설정할 수 있습니다.”

Daniel GriesserSentry 엔지니어링 부문 시니어 디렉터

현재 113명이 계정을 보유하고 있으며, 엔지니어링 부서 밖에서도 사용하고 있습니다. Sentry의 마케팅 부사장 Rahul Chhabria는 프로덕션 서비스를 구축했으며 Sentry의 스타트업 프로그램을 운영하기 위한 이 서비스는 현재 OpenRouter에서 실행됩니다. 지원팀은 동일한 계정에서 자체 평가를 구축했습니다. 총 45개 이상의 앱이 이 계정을 통해 트래픽을 전송합니다.

모든 요청에는 소유자가 있습니다

Griesser는 OpenRouter로 전환한 후에도 Sentry의 지출 규모는 달라지지 않았다고 말합니다. API 키가 사용자 또는 워크스페이스에 연결되므로 모든 요청은 소유자와 모델에 연결되며, 일반적으로 요청을 보낸 도구에도 연결됩니다. 모든 엔지니어는 자신의 사용자 이름을 클릭하여 지출액을 확인할 수 있습니다.

워크스페이스 및 앱별 총사용량을 누적 막대로 표시하고 워크스페이스와 앱 쌍의 순위 표를 보여주는 활동 탐색 화면

대시보드에서 드러나는 이상치

Griesser는 약 2주마다 대시보드를 훑어봅니다. 9월 말에는 Sentry의 Tools 워크스페이스에서 단일 키로 $8,000가 사용된 것을 발견했습니다. 해당 키의 소유자가 잘못 지정되어 있었습니다. 한 엔지니어가 다른 사람이 소유한 도구에 사용할 키를 만들었던 것입니다. Griesser는 키의 이름을 바꾸고 워크스페이스 키로 전환했습니다. 토큰을 다시 생성하지 않고도 키를 워크스페이스 간에 이동하거나 개인에서 워크스페이스로 옮길 수 있으므로, 아무것도 재배포할 필요가 없었습니다.

Sentry는 현재 기본 워크스페이스에서 개인별로 주당 $1,500의 예산을 설정하고 있으며, 모든 워크스페이스에는 각각 한도가 있습니다. 이러한 한도는 과도한 지출을 막는 가드레일입니다. 키가 한도에 도달하면 작동이 중지됩니다. 해당 사용자가 이유를 묻거나 알림이 발생하면, 문제가 상위 담당자에게 전달됩니다.

담당자별 크레딧 한도를 USD로 설정하고 한도 초기화 주기를 지정하는 예산 섹션이 있는 새 가드레일 양식

"이전에는 통제도, 가드레일도, 최후의 방어선도 없었기 때문에 엔지니어 한 명이나 사용자 한 명이 전체 AI 청구액을 폭증시키기가 매우 쉬웠습니다."

Daniel GriesserSentry 엔지니어링 부문 시니어 디렉터

더 이상 예상치 못한 청구서를 걱정하지 않게 된 경영진

Sentry의 엔지니어링 경영진에게 이러한 한도는 예상치 못한 청구 금액의 상한선이 되었습니다. 같은 도입을 검토하는 다른 엔지니어링 리더에게 어떤 말을 해주겠느냐는 질문에 Griesser는 짧게 답했습니다.

“도입하고 뒤돌아보지 마십시오. 굳이 시간을 들이고 싶지 않은 문제들을 해결해 줍니다.”

Daniel GriesserSentry 엔지니어링 부문 시니어 디렉터

더 많은 고객 사례

OpenRouter에서 제품 개발하기

하나의 API로 모든 모델을 이용하고 제공업체 간 자동 대체 기능을 사용할 수 있습니다.