Mistral's official instruct fine-tuned version of Mixtral 8x22B. It uses 39B active parameters out of 141B, offering unparalleled cost efficiency for its size. Its strengths include:
- strong math, coding, and reasoning
- large context length (64k)
- fluency in English, French, Italian, German, and Spanish
See benchmarks on the launch announcement hereOpens in new tab. #moe
제공업체
여러 회사가 동일한 모델을 호스팅합니다. OpenRouter는 선택한 라우팅 모드인 Balanced(가격 + 속도), Nitro(가장 빠름), Floor(가장 저렴함)에 따라 그중 한 곳으로 요청을 라우팅합니다.
| US$2.00 | US$6.00 | US$0.20 | 0.47s | 98 tok/s | ||
| US$2.20 | US$6.60 | US$0.22 | 1.06s | 112 tok/s |
입력 US$2.00 / 출력 US$6.0098 tok/s가동 시간 99.55%
입력 US$2.20 / 출력 US$6.60112 tok/s가동 시간 98.50%
요금
고객이 이 모델에 실제로 지불하는 평균 가격을 제공업체가 게시한 가격과 나란히 표시합니다. 캐싱과 할인으로 인해 실제 지불 가격은 정가보다 훨씬 낮은 경우가 많습니다.
가중 평균
Mixtral 8x22B Instruct — 가격 이력
| US$1.25 | US$6.60 | 47.8% | 55.6% | ||
| US$1.33 | US$6.00 | 37.4% | 44.4% |
- 적용 시점 US$1.25 / 실효 출력 US$6.60토큰 점유율55.6%
- 적용 시점 US$1.33 / 실효 출력 US$6.00토큰 점유율44.4%
성능
처리량은 모델의 출력 속도입니다(초당 토큰 수 — 높을수록 좋습니다). 지연 시간은 전체 왕복 시간입니다(낮을수록 좋습니다). TTFT는 첫 토큰까지 걸리는 시간, 즉 출력이 나타나기까지 걸리는 시간입니다(낮을수록 좋습니다).
P50, 제공업체 중 최고
P50, 최상의 제공업체
가동 시간
가동 시간은 지난 3일 동안 하나 이상의 제공업체가 요청에 응답한 시간의 비율입니다. 가용성은 추론이 성공적으로 제공된 시간의 비율입니다. OpenRouter는 지속적으로 모니터링하며 제공업체가 오류를 반환하면 차선의 제공업체를 사용합니다.
지난 3일간 가용성
최근 72시간지난 24시간 동안의 가용성
업스트림 제공업체에서 오류가 발생하면 요청 필터가 허용하는 경우 정상 상태인 다른 제공업체로 라우팅하여 복구할 수 있습니다. 제공업체별 가동 시간 데이터에 프로그래밍 방식으로 액세스할 때 사용하는 API는 엔드포인트 API입니다. 자세히 알아볼 수 있는 관련 옵션은 부하 분산 및 제공업체 라우팅 옵션입니다.
벤치마크
표준화된 평가 점수와 공통 벤치마크 프롬프트에 대한 이 모델 자체의 출력입니다. 백분율이 높을수록 좋으며, 각 순위는 해당 출처에서 평가한 모델 중 이 모델의 위치를 보여 줍니다.
| 출처 | 벤치마크 | 점수 |
|---|---|---|
| Artificial Analysis | Mixtral 8x22B Instruct GPQA Diamond | 33.2% |
| Artificial Analysis | Mixtral 8x22B Instruct HLE | 4.0% |
| Artificial Analysis | Mixtral 8x22B Instruct LiveCodeBench | 14.8% |
| Artificial Analysis | Mixtral 8x22B Instruct MMLU-Pro | 53.7% |
| Artificial Analysis | Mixtral 8x22B Instruct AIME | 0.0% |
| Artificial Analysis | Mixtral 8x22B Instruct MATH-500 | 54.5% |
앱
이 모델에 가장 많은 트래픽을 보내는 공개 앱입니다. 실제 프로덕션 워크로드의 모습을 보여주는 유용한 지표이자 이 모델이 어떤 사용 사례에 가장 적합한지 알려주는 단서입니다.
활동
시간에 따른 이 모델의 토큰 사용량 및 요청 트래픽.
API
이 모델을 호출하는 데 바로 사용할 수 있는 코드입니다. OpenRouter의 API는 OpenAI와 호환되므로 대부분의 SDK는 기본 URL만 바꾸면 작동합니다. 모델 간에 달라지는 것은 아래 모델 슬러그뿐입니다.
EU 역내 라우팅을 통해 사용 가능
Mistral: Mixtral 8x22B Instruct은 EU 역내 라우팅을 통해 사용할 수 있습니다. eu.dynamicsinfo.com로 전송된 요청은 EU에서 복호화되며 유럽(EU/EEA, 영국 및 스위스)의 공유 제공업체 엔드포인트로만 라우팅됩니다.
- 유럽의 제공업체
- Mistral
- 유럽 가격
- Mistral: 입력 US$2.20/M tokens, 출력 US$6.60/M tokens
- 기본 URL
https://eu.dynamicsinfo.com/api/v1- 요금제
- Business 또는 Enterprise가 필요합니다. Business에서는 계약이나 월 최소 사용액 없이 셀프서비스로 이용할 수 있습니다. EU 역내 라우팅을 위한 OpenRouter Business
실패 시 차단되며, 유럽 내에서 사용 가능한 공유 제공업체 엔드포인트가 없으면 요청이 해당 지역을 벗어나는 대신 오류가 발생합니다. 자체 BYOK 키로 처리되는 요청은 사용자가 제어하는 배포 지역으로 전송됩니다. 리전 내 라우팅 문서
자주 묻는 질문
Mistral's official instruct fine-tuned version of Mixtral 8x22B. It uses 39B active parameters out of 141B, offering unparalleled cost efficiency for its size. Its strengths include: - strong math, coding, and reasoning - large context length (64k) - fluency in English, French, Italian, German, and Spanish See benchmarks on the launch announcement here. #moe
Mixtral 8x22B Instruct의 비용은 US$2.00/M 입력 토큰 및 US$6.00/백만 출력 토큰, Cache Read: US$0.20/M tokens에는 별도 요금 적용입니다.
Mixtral 8x22B Instruct의 컨텍스트 윈도우는 65,536토큰입니다.
예. Mixtral 8x22B Instruct은(는) 함수 호출을 위해 tools와 tool_choice를 지원합니다. 또한 response_format의 JSON 스키마를 통해 구조화된 출력을 지원합니다.
Mixtral 8x22B Instruct은(는) 텍스트 및 PDF 등의 파일을(를) 입력으로 받아 텍스트을(를) 반환합니다.
Mixtral 8x22B Instruct은 OpenRouter에서 1개 제공업체가 제공합니다: Mistral.
Mistral Large 4, Mistral Medium 3.5, Mistral Small 4 외 16개은(는) Mistral의 다른 텍스트 모델입니다.
Mixtral 8x22B Instruct의 출시일은 2024년 4월 17일입니다. 지식 기준일은 2024년 1월 31일입니다.