Favicon de mistralai

Mistral: Mixtral 8x22B Instruct

mistralai/mixtral-8x22b-instruct

Poids du modèle

Mistral's official instruct fine-tuned version of Mixtral 8x22B. It uses 39B active parameters out of 141B, offering unparalleled cost efficiency for its size. Its strengths include:

  • strong math, coding, and reasoning
  • large context length (64k)
  • fluency in English, French, Italian, German, and Spanish

See benchmarks on the launch announcement here. #moe

Modalités
Prix d’entrée / de sortie
2 $US / 6 $USpar 1M
Contexte
66K
Publié
17 avr. 2024
Date limite des connaissances
janv. 2024

Fournisseurs

Différentes entreprises hébergent le même modèle. OpenRouter achemine votre requête vers l’une d’elles selon le mode de routage que vous choisissez : Équilibré (prix + vitesse), Nitro (le plus rapide) ou Floor (le moins cher).

Tarification

Le prix moyen que les clients paient réellement pour ce modèle, à côté des prix affichés par les fournisseurs. Grâce à la mise en cache et aux remises, le prix réellement payé est souvent bien inférieur au prix affiché.

Moyenne pondérée

Entrée
1,314 $US/M de jetons
Sortie
6,266 $US/M de jetons
Historique des prix
Aucune donnée de prix effectif pour cette sélection

Performances

Le débit est la vitesse à laquelle le modèle écrit (jetons par seconde — plus il est élevé, mieux c’est). La latence est le temps total d’aller-retour (plus il est faible, mieux c’est). Le TTFT est le délai avant le premier jeton — le temps avant de voir quelque chose apparaître (plus il est faible, mieux c’est).

Débit
113jetons/s

P50, meilleur résultat tous fournisseurs confondus

Latence
0,55s

P50, meilleur fournisseur

Disponibilité

La disponibilité correspond au pourcentage des 3 derniers jours pendant lequel au moins un fournisseur répondait aux requêtes. La disponibilité du service correspond au pourcentage de temps pendant lequel l’inférence a été assurée avec succès. OpenRouter surveille en continu les fournisseurs et utilise le meilleur fournisseur suivant lorsque l’un d’eux renvoie une erreur.

Disponibilité (3 j)Le modèle était joignable. Requête acheminée vers un fournisseur.
100,00 %
Disponibilité (3 j)Le modèle a renvoyé un résultat d’inférence, quel que soit le fournisseur. Les erreurs et les réponses vides sont comptabilisées à son détriment.
99,83 %

Disponibilité au cours des 3 derniers jours

72 dernières heures
Disponibilité 99,83 %
Il y a 3 joursIl y a 2 joursHierMaintenant

Disponibilité au cours des dernières 24 heures

OpenRouter Availability
99,55 %

Lorsqu’une erreur survient chez un fournisseur en amont, nous pouvons rétablir le service en routant la requête vers un autre fournisseur opérationnel, si les filtres de votre requête le permettent. Vous pouvez accéder par programmation aux données de disponibilité de chaque fournisseur via l’ API des points de terminaison. Découvrez nos options d’ équilibrage de charge et de routage des fournisseurs.

Évaluations comparatives

Scores aux évaluations standardisées et réponses de ce modèle aux prompts communs des tests de référence. Des pourcentages plus élevés sont meilleurs — et chaque rang indique la position de ce modèle parmi les modèles évalués sur cette source.

Résumé des scores aux tests de performance pour Mistral: Mixtral 8x22B Instruct (Artificial Analysis)
SourceTest de performanceScore
Artificial AnalysisMixtral 8x22B Instruct GPQA Diamond33.2%
Artificial AnalysisMixtral 8x22B Instruct HLE4.0%
Artificial AnalysisMixtral 8x22B Instruct LiveCodeBench14.8%
Artificial AnalysisMixtral 8x22B Instruct MMLU-Pro53.7%
Artificial AnalysisMixtral 8x22B Instruct AIME0.0%
Artificial AnalysisMixtral 8x22B Instruct MATH-50054.5%

Applications

Applications publiques qui envoient le plus de trafic à ce modèle. Un bon indicateur des charges de travail réelles en production — et un aperçu des cas d’usage auxquels ce modèle convient le mieux.

1.
104Mjetons
2.
Favicon de https://sillytavern.app/
SillyTavern
11,9Mjetons
3.
Favicon de https://janitorai.com/
Janitor AI
8,64Mjetons
4.
4,82Mjetons
5.
Favicon de https://kilocode.ai/
Kilo Code
4,45Mjetons
Top 5 des applications
3,42M
Reste d’OpenRouter
1,93M

Activité

Volume de jetons et trafic des requêtes vers ce modèle au fil du temps.

API

Code prêt à l’emploi pour appeler ce modèle. L’API d’OpenRouter est compatible avec OpenAI — la plupart des SDK fonctionnent en remplaçant simplement l’URL de base. Seul le slug du modèle ci-dessous change d’un modèle à l’autre.

Disponible via le routage au sein de la région UE

Mistral: Mixtral 8x22B Instruct est disponible via le routage intrarégional dans l’UE. Les requêtes envoyées à eu.dynamicsinfo.com sont déchiffrées dans l’UE et acheminées uniquement vers des points de terminaison partagés de fournisseurs en Europe (UE/EEE, Royaume-Uni et Suisse).

Fournisseurs en Europe
Mistral
Tarifs en Europe
  • Mistral : 2,20 $US/M tokens en entrée, 6,60 $US/M tokens en sortie
URL de base
https://eu.dynamicsinfo.com/api/v1
Offre
Nécessite Business ou Enterprise. En libre-service avec Business : sans contrat ni minimum mensuel. OpenRouter Business pour le routage au sein de l’UE

Blocage en cas d’échec : si aucun point de terminaison de fournisseur partagé en Europe n’est disponible, la requête renvoie une erreur au lieu de quitter la région. Les requêtes traitées avec votre propre clé BYOK sont acheminées vers la région de votre déploiement, que vous contrôlez. Documentation sur le routage intrarégional

Questions fréquentes

Explorer d’autres modèles