Favicon de mistralai

Mistral: Mixtral 8x22B Instruct

mistralai/mixtral-8x22b-instruct

Pesos del modelo

Mistral's official instruct fine-tuned version of Mixtral 8x22B. It uses 39B active parameters out of 141B, offering unparalleled cost efficiency for its size. Its strengths include:

  • strong math, coding, and reasoning
  • large context length (64k)
  • fluency in English, French, Italian, German, and Spanish

See benchmarks on the launch announcement here. #moe

Modalidades
Precio de entrada / salida
2 US$ / 6 US$por 1M
Contexto
66K
Publicado
17 abr 2024
Fecha límite de conocimiento
ene 2024

Proveedores

Distintas empresas alojan el mismo modelo. OpenRouter enruta su solicitud a una de ellas según el modo de enrutamiento que elija: Balanced (precio + velocidad), Nitro (el más rápido) o Floor (el más económico).

Precios

El precio medio que los clientes pagan realmente por este modelo, junto a los precios que publican los proveedores. El uso de caché y los descuentos hacen que el precio realmente pagado a menudo sea muy inferior al publicado.

Media ponderada

Entrada
1,286 US$/M tokens
Salida
6,26 US$/M tokens
Historial de precios
No hay datos de precios efectivos para esta selección

Rendimiento

La velocidad de generación indica lo rápido que escribe el modelo (tokens por segundo: cuanto mayor, mejor). La latencia es el tiempo total de ida y vuelta (cuanto menor, mejor). TTFT es el tiempo hasta el primer token: cuánto tarda en aparecer algo en pantalla (cuanto menor, mejor).

Rendimiento
113tok/s

P50, el mejor entre los proveedores

Latencia
0,48s

P50, mejor proveedor

Tiempo de actividad

El tiempo de actividad es el porcentaje de los últimos 3 días en que al menos un proveedor respondía a las solicitudes. La disponibilidad es el porcentaje de tiempo en que la inferencia se sirvió correctamente. OpenRouter supervisa continuamente y utiliza el siguiente mejor proveedor cuando uno devuelve un error.

Tiempo de actividad (3 d)El modelo estaba accesible. Solicitud enrutada a un proveedor.
100,00 %
Disponibilidad (3 d)El modelo devolvió una inferencia de cualquier proveedor. Los errores y las respuestas vacías cuentan en su contra.
99,83 %

Disponibilidad durante los últimos 3 días

Últimas 72 horas
Disponibilidad 99,83 %
Hace 3 díasHace 2 díasAyerAhora

Disponibilidad en las últimas 24 horas

OpenRouter Availability
99,55 %

Cuando se produce un error en un proveedor ascendente, podemos recuperarnos enrutando la solicitud a otro proveedor que funcione correctamente, si los filtros de su solicitud lo permiten. Puede acceder mediante programación a los datos de tiempo de actividad de cada proveedor a través de la API de endpoints. Obtenga más información sobre nuestras opciones de equilibrio de carga y enrutamiento de proveedores.

Pruebas de rendimiento

Puntuaciones en evaluaciones estandarizadas y respuestas de este modelo a instrucciones compartidas de las pruebas de referencia. Los porcentajes más altos son mejores, y cada posición indica dónde se sitúa este modelo entre los modelos evaluados en esa fuente.

Resumen de puntuaciones en pruebas de rendimiento de Mistral: Mixtral 8x22B Instruct (Artificial Analysis)
FuentePrueba de rendimientoPuntuación
Artificial AnalysisMixtral 8x22B Instruct GPQA Diamond33.2%
Artificial AnalysisMixtral 8x22B Instruct HLE4.0%
Artificial AnalysisMixtral 8x22B Instruct LiveCodeBench14.8%
Artificial AnalysisMixtral 8x22B Instruct MMLU-Pro53.7%
Artificial AnalysisMixtral 8x22B Instruct AIME0.0%
Artificial AnalysisMixtral 8x22B Instruct MATH-50054.5%

Aplicaciones

Aplicaciones públicas que envían más tráfico a este modelo. Una buena señal de cómo son las cargas de trabajo reales en producción, y una pista sobre los casos de uso para los que este modelo es más adecuado.

1.
103Mtókenes
2.
Favicon de https://sillytavern.app/
SillyTavern
11,8Mtókenes
3.
Favicon de https://janitorai.com/
Janitor AI
8,61Mtókenes
4.
4,82Mtókenes
5.
Favicon de https://kilocode.ai/
Kilo Code
4,45Mtókenes
Las 5 aplicaciones principales
2,54M
Resto de OpenRouter
1,89M

Actividad

Volumen de tokens y tráfico de solicitudes a este modelo a lo largo del tiempo.

API

Código listo para usar para llamar a este modelo. La API de OpenRouter es compatible con OpenAI: la mayoría de los SDK funcionan con solo cambiar la URL base. Lo único que cambia entre modelos es el identificador del modelo que aparece a continuación.

Disponible mediante enrutamiento dentro de la región de la UE

Mistral: Mixtral 8x22B Instruct está disponible mediante el enrutamiento dentro de la región de la UE. Las solicitudes enviadas a eu.dynamicsinfo.com se descifran en la UE y se enrutan únicamente a endpoints compartidos de proveedores en Europa (la UE/el EEE, el Reino Unido y Suiza).

Proveedores en Europa
Mistral
Precios en Europa
  • Mistral: 2,20 US$/M tokens de entrada, 6,60 US$/M tokens de salida
URL base
https://eu.dynamicsinfo.com/api/v1
Plan
Requiere Business o Enterprise. Autoservicio en Business: sin contrato ni mínimo mensual. OpenRouter Business para el enrutamiento dentro de la UE

Falla de forma cerrada: si no hay ningún endpoint de proveedor compartido disponible en Europa, la solicitud devuelve un error en lugar de salir de la región. Las solicitudes atendidas con su propia clave BYOK se dirigen a la región de su despliegue, que usted controla. Documentación de enrutamiento dentro de la región

Preguntas frecuentes