Favicon de mistralai

Mistral: Mixtral 8x22B Instruct

mistralai/mixtral-8x22b-instruct

Pesos do modelo

Mistral's official instruct fine-tuned version of Mixtral 8x22B. It uses 39B active parameters out of 141B, offering unparalleled cost efficiency for its size. Its strengths include:

  • strong math, coding, and reasoning
  • large context length (64k)
  • fluency in English, French, Italian, German, and Spanish

See benchmarks on the launch announcement here. #moe

Modalidades
Preço de entrada / saída
US$ 2 / US$ 6por 1M
Contexto
66K
Lançado
17 de abr. de 2024
Data de corte do conhecimento
jan. de 2024

Provedores

Diferentes empresas hospedam o mesmo modelo. O OpenRouter roteia sua solicitação para uma delas com base no modo de roteamento escolhido: Balanced (preço + velocidade), Nitro (mais rápido) ou Floor (mais barato).

Preços

O preço médio que os clientes realmente pagam por este modelo, ao lado dos preços publicados pelos provedores. O cache e os descontos fazem com que o preço efetivamente pago seja frequentemente bem inferior ao preço anunciado.

Média ponderada

Entrada
US$ 1,462/M tokens
Saída
US$ 6,234/M tokens
Histórico de preços
Nenhum dado de preço efetivo para esta seleção

Desempenho

A vazão indica a velocidade com que o modelo escreve (tokens por segundo — quanto maior, melhor). A latência é o tempo total de ida e volta (quanto menor, melhor). TTFT é o tempo até o primeiro token — quanto tempo leva para você ver algo aparecer (quanto menor, melhor).

Taxa de transferência
113tok/s

P50, melhor entre os provedores

Latência
0,53s

P50, melhor provedor

Disponibilidade

A disponibilidade é a porcentagem dos últimos 3 dias em que pelo menos um provedor estava respondendo às solicitações. A disponibilidade é a porcentagem de tempo em que a inferência foi realizada com sucesso. O OpenRouter monitora continuamente e usa o próximo melhor provedor quando um deles retorna um erro.

Disponibilidade (3d)O modelo estava acessível. Requisição roteada para um provedor.
100,00%
Disponibilidade (3d)O modelo retornou inferência de qualquer provedor. Erros e respostas vazias contam negativamente para essa métrica.
99,56%

Disponibilidade nos últimos 3 dias

Últimas 72 horas
Disponibilidade 99,56%
Há 3 diasHá 2 diasOntemAgora

Disponibilidade nas últimas 24 horas

OpenRouter Availability
99,15%

Quando ocorre um erro em um provedor upstream, podemos nos recuperar roteando para outro provedor saudável, se os filtros da sua solicitação permitirem. Você pode acessar os dados de disponibilidade por provedor de forma programática pela API de endpoints. Saiba mais sobre nossas opções de balanceamento de carga e roteamento de provedores.

Avaliações de desempenho

Pontuações em avaliações padronizadas e as próprias saídas deste modelo para prompts compartilhados de testes de desempenho. Porcentagens maiores são melhores — e cada posição mostra onde este modelo fica entre os modelos avaliados naquela fonte.

Resumo das pontuações de avaliações comparativas para Mistral: Mixtral 8x22B Instruct (Artificial Analysis)
FonteAvaliação comparativaPontuação
Artificial AnalysisMixtral 8x22B Instruct GPQA Diamond33.2%
Artificial AnalysisMixtral 8x22B Instruct HLE4.0%
Artificial AnalysisMixtral 8x22B Instruct LiveCodeBench14.8%
Artificial AnalysisMixtral 8x22B Instruct MMLU-Pro53.7%
Artificial AnalysisMixtral 8x22B Instruct AIME0.0%
Artificial AnalysisMixtral 8x22B Instruct MATH-50054.5%

Aplicativos

Aplicativos públicos que enviam mais tráfego para este modelo. Um bom indicador de como são as cargas de trabalho reais em produção — e uma pista sobre os casos de uso para os quais este modelo é mais adequado.

1.
113Mtokens
2.
Favicon de https://goose-docs.ai/
goose
novo
13,1Mtokens
3.
Favicon de https://sillytavern.app/
SillyTavern
12Mtokens
4.
Favicon de https://janitorai.com/
Janitor AI
8,77Mtokens
5.
5,45Mtokens
5 principais aplicativos
8,73M
Restante do OpenRouter
3,66M

Atividade

Volume de tokens e tráfego de requisições para este modelo ao longo do tempo.

API

Código pronto para chamar este modelo. A API do OpenRouter é compatível com a OpenAI — a maioria dos SDKs funciona apenas trocando a URL base. A única coisa que muda entre os modelos é o slug do modelo abaixo.

Disponível por meio do roteamento intrarregional da UE

Mistral: Mixtral 8x22B Instruct está disponível por meio do roteamento regional na UE. As solicitações enviadas para eu.dynamicsinfo.com são descriptografadas na UE e roteadas apenas para endpoints compartilhados de provedores na Europa (UE/EEE, Reino Unido e Suíça).

Provedores na Europa
Mistral
Preços na Europa
  • Mistral: US$ 2,20/M tokens de entrada, US$ 6,60/M tokens de saída
URL base
https://eu.dynamicsinfo.com/api/v1
Plano
Requer Business ou Enterprise. Autoatendimento no Business: sem contrato, sem mínimo mensal. OpenRouter Business para roteamento dentro da região da UE

Falha em modo fechado: se nenhum endpoint de provedor compartilhado na Europa estiver disponível, a solicitação retorna um erro em vez de sair da região. As solicitações atendidas pela sua própria chave BYOK vão para a região da sua implantação, que você controla. Documentação de roteamento na região

Perguntas frequentes