고객 사례

Prime Intellect, OpenRouter에서 100배 성장하고 토큰당 비용 60% 절감

Prime Intellect는 개방형 프런티어 모델과 이를 학습, 서빙, 개선하기 위한 스택을 구축합니다. 지난 일 년간 OpenRouter에서의 월간 토큰 사용량은 110억 개에서 1조 개 이상으로 증가한 반면, 전체 평균 토큰당 비용은 약 60% 감소했습니다.

달러당 지능을 위해 설계

Prime Intellect 는 개방형 프런티어 모델과 이를 학습하고 배포하며 지속적으로 개선하기 위한 인프라를 구축합니다. 이 회사는 AI의 미래가 다중 모델에 있다고 보고 있습니다. Prime Intellect의 CEO이자 공동 창립자인 Vincent Weisser는 “다양한 사용 사례에서 지속적으로 스스로 개선하는 무한한 모델이 등장할 것이라고 믿습니다”라고 말합니다.

“우리는 미래가 한 회사의 단 하나의 전능한 모델에 좌우되지 않도록 하고 싶습니다.”

Vincent WeisserPrime Intellect CEO 겸 공동 창립자

고객은 자체 데이터로 모델을 사후 학습하고 Prime 플랫폼에서 제공하기 위해 Prime Intellect를 찾습니다. 사후 학습을 하기 전에 어떤 모델로 시작할지 알아야 합니다. Vincent는 “고객이 보고 싶어 하는 것은 달러당 가장 높은 지능을 제공하는 모델입니다”라고 말합니다. “그리고 이는 새 모델이 언제 나오느냐에 따라 말 그대로 매주, 매월 또는 매일 바뀝니다.”

고객과 Prime Intellect 자체 연구를 위해 이 질문에 답하려면 새 모델이 출시되는 즉시 평가해야 합니다. Prime Intellect는 OpenRouter를 통해 이러한 평가를 실행합니다. 평가 결과를 사용해 가격과 성능을 기준으로 모델을 선택하고 각 워크로드를 처리할 수 있는 가장 저렴한 모델로 보냅니다.

더 많은 모델, 더 많은 지출, 더 많은 통합

“저희는 평가를 매우 중요하게 생각합니다. 끊임없이 모델을 평가하고 있습니다.”라고 Prime Intellect의 응용 연구 책임자 Will Brown은 말합니다. 그의 팀은 사후 학습을 수행하거나 출력을 학습 데이터로 사용할 가능성이 있는 모델을 테스트하므로, 새로운 모델은 출시되자마자 기존 워크플로에 통합될 수 있어야 합니다.

Prime Intellect의 추론 개발을 이끄는 Stu Cao는 이러한 요청을 받습니다. 그는 “매일 연구팀에서 끊임없이 요청이 들어옵니다. ‘저기, 이 모델을 사용할 수 있습니까? 이 모델을 사용할 수 있습니까?’라고 합니다.”라고 말합니다.

OpenRouter를 사용하기 전에는 모델을 사용할 수 있다고 답할 때마다 또 다른 제공업체의 API를 연결하고 별도의 요금제를 설정해야 했습니다. 제공업체마다 고유한 엔드포인트, API 키, 인증 및 캐싱 제어 기능이 있었습니다.

“사실상 수많은 서로 다른 엔드포인트와 API 키를 관리하는 셈입니다. 그리고 그것은 골치 아픈 일입니다.”

Stu CaoPrime Intellect 기술진

각 모델의 안정성 또한 팀이 해당 모델에 접근하는 데 사용하는 제공업체에 전적으로 달려 있었습니다. 해당 제공업체에 장애가 발생하면 그 모델에 대한 모든 요청이 실패했고, 팀은 요청을 보낼 다른 곳이 없었습니다. “사실상 수많은 단일 장애점을 다루는 셈입니다.”라고 Stu는 말합니다.

동시에 지출도 늘어나고 있었습니다. “여러 팀의 내부 추론 지출이 크게 늘어나는 것을 보았습니다.”라고 Vincent는 말합니다.

OpenRouter를 선택한 이유

Prime Intellect는 AI 모델에 접근하는 데 따르는 운영 복잡성에 시간을 쓰기보다 평가 하네스와 사후 학습에 엔지니어링 시간을 투자하고자 했습니다. Vincent는 "수백 개의 제공업체에 걸쳐 수천 개의 모델을 직접 통합하는 것보다 OpenRouter와 협력하는 편이 훨씬 쉽습니다"라고 말합니다.

팀은 모델 접근을 OpenRouter로 이전했습니다.

"이제 엔드포인트 하나와 API 키 하나면 됩니다. 소프트웨어 스택이 훨씬 깔끔해지고 상위 스택에 집중할 수 있습니다."

Stu CaoPrime Intellect 기술진

Will은 연구자들이 더 이상 모델이 어디에 호스팅되는지 신경 쓸 필요가 없다고 말합니다. 그는 "모델이 어떤 기반 소스에서 제공되는지보다는 모델 자체와 그 기능, 속도, 효율성에 대해 생각하는 편이 훨씬 낫습니다"라고 말합니다. "이런 부분을 추상화할 수 있다는 것은 매우 강력합니다."

성과

약 60% 낮은 토큰당 비용으로 100배의 사용량

Prime Intellect의 OpenRouter 월간 토큰 사용량은 2025년 11월 110억 개에서 2026년 9월 1조 개가 넘는 수준으로 증가했습니다. 같은 기간 100만 토큰당 혼합 비용은 약 $1.23에서 약 $0.46로 낮아졌습니다.

Vincent는 이러한 성과의 상당 부분에 대한 크레딧을 모델 선택에 돌리며, 이를 “수백 개 모델의 바다에서 현재 가장 큰 돌파구 중 하나”라고 평가합니다.

“핵심은 어떻게 하면 항상 가장 우수하고 가장 저렴한 모델로 라우팅되도록 보장할 수 있느냐는 것입니다.”

Vincent WeisserPrime Intellect CEO 겸 공동 창립자

제공업체 선택도 도움이 되었습니다. OpenRouter는 Stu에게 트래픽, 처리량, 가동 시간, 제공업체에 관한 모델별 데이터를 보내며, Stu는 이를 사용해 라우팅을 조정합니다. 그는 “OpenRouter는 실제로 각 모델의 트래픽 현황과 최적화 기회를 매우 상세하게 분석한 자료를 제게 제공했습니다”라고 말합니다. “저희는 그 피드백을 받아, 예를 들어 적절한 제공업체 순서를 설정합니다. 그리고 그 결과 실제로 효율성이 크게 개선되고 비용이 줄었습니다.”

각 제공업체의 가격, 지연 시간, 처리량, 가동 시간을 나열한 OpenRouter 모델의 제공업체 표

제공업체 장애가 더 이상 사용자에게 영향을 주지 않음

같은 모델이라도 제공업체에 따라 성능이 크게 달라질 수 있습니다. OpenRouter는 Stu에게 모델을 제공하는 모든 제공업체의 가동 시간과 처리량을 보여줍니다. 그는 "덕분에 어떤 제공업체를 선택할지 결정하는 데 아주 명확한 기준이 생겼습니다"라고 말합니다.

그는 각 모델에서 처리량과 가동 시간이 가장 우수한 제공업체를 우선순위 맨 위에 둡니다. 그는 "이 제공업체에서 오류가 발생하면 OpenRouter가 목록의 다음 제공업체로 자동 전환합니다"라고 말합니다. "선호하는 제공업체를 계속 사용하면서도 이 대체 라우팅이 제품에 사실상 영향을 주지 않습니다."

한 달 동안 Prime Intellect의 요청 중 약 640,000건이 처음 시도한 제공업체에서 실패한 후 다른 제공업체에서 완료되었습니다. Stu는 "전환이 매우 매끄러워서 저희 쪽에서는 장애를 거의 알아차리지 못합니다"라고 말합니다.

지난 24시간 동안 제공업체 대체 라우팅을 사용한 경우와 라우팅을 사용하지 않은 경우의 가용성을 비교한 OpenRouter 모델 가동 시간

출시 당일부터 새로운 모델 사용

새로운 모델은 팀이 이미 사용하는 API와 인증을 통해 제공됩니다. Stu는 "모델이 제공되면 언제든지 바로 사용할 수 있습니다"라고 말합니다. Prime Intellect는 Kimi K3와 GLM 5.2 각각이 OpenRouter에서 첫 트래픽을 처리한 지 하루 이내에 해당 모델을 실행하고 있었습니다. 새 모델을 사용하기까지 얼마나 걸리는지 묻자 Will은 "이름을 입력하는 데 얼마나 걸리느냐에 달려 있습니다"라고 답합니다.

"OpenRouter가 Prime Intellect에 가져온 가장 큰 변화는 속도입니다."

Stu CaoPrime Intellect 기술진

"스타트업으로서 저희는 속도를 소중히 여깁니다"라고 Stu는 말합니다. "그 덕분에 전 세계에서 출시되는 모든 모델을 활용해 계속 혁신할 수 있습니다."

일상 업무의 일부인 평가

Will의 팀은 에이전트 기반 코딩과 컴퓨터 사용 같은 워크로드에서 각 모델이 무엇을 할 수 있는지 측정합니다. 오픈 모델은 사후 학습이나 학습 데이터 생성에 사용할 후보입니다. 비공개 모델은 기준선 역할을 합니다. Will은 "최첨단 수준과 얼마나 차이가 나는지 파악하고 싶습니다"라고 말합니다.

이 작업을 하려면 합리적인 비용으로 모든 모델에 접근할 수 있어야 합니다. 그는 "데이터와 평가, 사후 학습 관련 작업을 하려면 합리적인 가격에 빠르고 안정적으로 토큰을 얻을 수 있는 것이 필수적입니다"라고 말합니다.

Will은 "OpenRouter가 가져온 가장 큰 변화는 어떤 모델이든 쉽고 실용적으로 평가할 수 있게 되어, 평가가 자연스럽게 일상 업무 주기의 일부가 되었다는 점입니다"라고 말합니다.

제공업체로서의 Prime Intellect

Prime Intellect는 OpenRouter에서 추론 서비스도 판매하며, 일주일 동안 약 48,000개의 OpenRouter 계정에 11개 모델과 약 6,700억 개 토큰을 제공했고, 주간 토큰 처리량은 전월 대비 약 12배로 늘었습니다. Will은 "추론을 위한 마켓플레이스입니다"라고 말합니다. "저희가 소비자이자 생산자가 될 수 있는 곳입니다."

이 트래픽을 통해 팀은 각 배포가 프로덕션 환경에서 어떻게 작동하는지 확인합니다. Will은 "캐시가 잘 활용되고 있습니까? 지연 시간이 양호합니까? 버스트 트래픽을 잘 처리하고 있습니까?"라고 말합니다. 여기서 얻은 지식은 다시 학습에 반영됩니다. 그는 "배포를 위해 모델을 학습하고, 그 배포가 다음 모델의 학습 방식을 결정합니다"라고 말합니다.

Stu는 OpenRouter가 제공하는 입력 길이, 추론 및 출력 토큰, 처리량에 관한 모델별 데이터를 사용해 Prime Intellect의 서빙 클러스터를 설계합니다. 그는 "모든 경우에 통하는 최적의 추론 구성은 없습니다"라고 말합니다. "그 데이터를 활용해 서빙 스택을 최적화할 수 있습니다."

OpenRouter의 모든 제공업체는 가동 시간, 처리량, 가격이 공개되어 있어 사용자는 Prime Intellect를 같은 모델을 제공하는 다른 모든 제공업체와 비교할 수 있습니다. Vincent는 "가동률이 99.99%인 제공업체와 80%에 불과한 제공업체가 있다면, 당연히 더 안정적인 쪽을 선택할 것입니다"라고 말합니다. "OpenRouter를 통해 이를 보여 줌으로써 저희의 추론 역량이 얼마나 뛰어난지도 입증할 수 있었다고 생각합니다."

Will은 양쪽 입장에서 같은 효과를 봅니다. 그는 "저희에게 모델을 호스팅할 용량이 있든 다른 누군가에게 있든, 이를 추상화할 수 있으며 OpenRouter가 이 문제를 해결했습니다"라고 말합니다.

"이는 멀티 모델 세상이 이미 충분히 실현 가능한 단계에 와 있다는 뜻입니다."

Will BrownPrime Intellect 응용 연구 책임자
일별 처리 토큰 수를 차트로 보여 주는 OpenRouter의 Prime Intellect 제공업체 페이지

더 많은 고객 사례

OpenRouter에서 제품 개발하기

하나의 API로 모든 모델을 이용하고 제공업체 간 자동 대체 기능을 사용할 수 있습니다.