mistralai のファビコン

Mistral: Mixtral 8x22B Instruct

mistralai/mixtral-8x22b-instruct

モデルの重み

Mistral's official instruct fine-tuned version of Mixtral 8x22B. It uses 39B active parameters out of 141B, offering unparalleled cost efficiency for its size. Its strengths include:

  • strong math, coding, and reasoning
  • large context length (64k)
  • fluency in English, French, Italian, German, and Spanish

See benchmarks on the launch announcement here. #moe

モダリティ
入力 / 出力料金
$2 / $61M あたり
コンテキスト
66K
公開日
2024年4月17日
知識のカットオフ
2024年1月

プロバイダー

同じモデルを複数の企業がホストしています。OpenRouter は、選択したルーティングモードである Balanced(価格 + 速度)、Nitro(最速)、Floor(最安)に基づいて、そのうちの一社にリクエストをルーティングします。

料金

プロバイダーが提示する価格と並べて、このモデルに対して顧客が実際に支払う平均価格を表示しています。キャッシュと割引により、実際の支払価格は表示価格を大幅に下回ることがよくあります。

加重平均

入力
$1.043/百万トークン
出力
$6.236/百万トークン
料金の推移
この選択に対応する実効価格データはありません

パフォーマンス

スループットはモデルが出力する速さです(毎秒のトークン数で、数値が高いほど優れています)。レイテンシは往復にかかる合計時間です(短いほど優れています)。TTFT は最初のトークンが出力されるまでの時間、つまり何かが表示され始めるまでの時間です(短いほど優れています)。

スループット
116トークン/秒

P50、プロバイダー全体での最良値

レイテンシ
0.47秒

P50、最適なプロバイダー

稼働率

稼働率は、過去 3 日間に少なくとも一社のプロバイダーがリクエストに応答していた時間の割合です。可用性は、推論が正常に提供された時間の割合です。OpenRouter は継続的に監視し、プロバイダーがエラーを返すと、次に最適なプロバイダーを使用します。

稼働率(3 日間)モデルに接続できました。リクエストはプロバイダーにルーティングされました。
100.00%
可用性(3 日間)モデルがいずれかのプロバイダーから推論結果を返しました。エラーと空のレスポンスはマイナスとして集計されます。
99.59%

過去 3 日間の可用性

過去 72 時間
可用性 99.59%
3 日前2 日前昨日現在

過去 24 時間の可用性

OpenRouter Availability
99.17%

上流のプロバイダーでエラーが発生した場合、リクエストフィルターが許可していれば、別の正常なプロバイダーにルーティングして復旧できます。プロバイダーごとの稼働率データにプログラムでアクセスするには Endpoints APIを利用できます。詳しくは、 負荷分散とプロバイダールーティングのオプションをご覧ください。

ベンチマーク

標準化された評価のスコアと、共通のベンチマークプロンプトに対するこのモデル自身の出力です。パーセンテージが高いほど優れており、各順位は、その情報源で評価されたモデルの中でのこのモデルの位置を示します。

ベンチマークスコアの概要: Mistral: Mixtral 8x22B Instruct (Artificial Analysis)
出典ベンチマークスコア
Artificial AnalysisMixtral 8x22B Instruct GPQA Diamond33.2%
Artificial AnalysisMixtral 8x22B Instruct HLE4.0%
Artificial AnalysisMixtral 8x22B Instruct LiveCodeBench14.8%
Artificial AnalysisMixtral 8x22B Instruct MMLU-Pro53.7%
Artificial AnalysisMixtral 8x22B Instruct AIME0.0%
Artificial AnalysisMixtral 8x22B Instruct MATH-50054.5%

アプリ

このモデルに最も多くのトラフィックを送信している公開アプリです。実際の本番ワークロードを把握するための有力な指標であり、このモデルに最も適したユースケースを知る手がかりにもなります。

1.
108Mトークン
2.
https://sillytavern.app/ のファビコン
SillyTavern
12Mトークン
3.
https://goose-docs.ai/ のファビコン
goose
新着
11.5Mトークン
4.
https://janitorai.com/ のファビコン
Janitor AI
8.77Mトークン
5.
4.81Mトークン
OpenRouter のその他のアプリ
2.55M
上位 5 アプリ
2.02M

アクティビティ

このモデルのトークン量とリクエストトラフィックの経時変化です。

API

このモデルを呼び出すために、そのまま使えるコードです。OpenRouter の API は OpenAI 互換のため、ほとんどの SDK はベース URL を変更するだけで動作します。モデル間で変わるのは、下記のモデルスラッグだけです。

EU 域内ルーティング経由で利用可能

Mistral: Mixtral 8x22B Instruct は EU 域内ルーティングで利用できます。eu.dynamicsinfo.com に送信されたリクエストは EU 内で復号され、ヨーロッパ(EU/EEA、英国、スイス)にあるプロバイダーの共有エンドポイントにのみルーティングされます。

ヨーロッパのプロバイダー
Mistral
ヨーロッパでの料金
  • Mistral:入力 $2.20/M tokens、出力 $6.60/M tokens
ベース URL
https://eu.dynamicsinfo.com/api/v1
プラン
Business または Enterprise が必要です。Business ではセルフサービスで利用でき、契約も月額最低利用額もありません。 EU 域内ルーティング向け OpenRouter Business

フェイルクローズ方式で動作し、ヨーロッパの共有プロバイダーエンドポイントが利用できない場合、リクエストはリージョン外に送信されずにエラーになります。自身の BYOK キーで処理されるリクエストは、自身で管理するデプロイのリージョンに送信されます。 リージョン内ルーティングのドキュメント

よくある質問