
Meta: Llama 3.1 8B Instruct (nitro)
meta-llama/llama-3.1-8b-instruct:nitro
モデルの重みMeta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.
It has demonstrated strong performance compared to leading closed-source models in human evaluations.
To read more about the model release, click hereOpens in new tab. Usage of this model is subject to Meta's Acceptable Use PolicyOpens in new tab.
プロバイダー
同じモデルを複数の企業がホストしています。OpenRouter は、選択したルーティングモードである Balanced(価格 + 速度)、Nitro(最速)、Floor(最安)に基づいて、そのうちの一社にリクエストをルーティングします。
| プロバイダー | 入力 /M | 出力 /M | キャッシュ読み取り /M | レイテンシ | スループット | 稼働率 |
|---|---|---|---|---|---|---|
| $0.050 | $0.080 | $0.025 | 0.20s | 579 tok/s | ||
| $0.220 | $0.220 | $0.220 | 0.39s | 137 tok/s | ||
| $0.020 | $0.040 | -- | 0.73s | 17 tok/s | ||
| $0.152 | $0.287 | -- | 0.46s | 17 tok/s |
- 入力 $0.05 / 出力 $0.08579 tok/s稼働率 99.02%
- 入力 $0.22 / 出力 $0.22137 tok/s稼働率 97.99%
入力 $0.02 / 出力 $0.0417 tok/s稼働率 100.00%- 入力 $0.152 / 出力 $0.28717 tok/s稼働率 98.26%
料金
プロバイダーが提示する価格と並べて、このモデルに対して顧客が実際に支払う平均価格を表示しています。キャッシュと割引により、実際の支払価格は表示価格を大幅に下回ることがよくあります。
加重平均
Llama 3.1 8B Instruct — 料金履歴
| $0.0194 | $0.0375 | 0.0% | 37.1% | ||
| $0.0397 | $0.0794 | 38.8% | 19.2% | ||
| $0.1512 | $0.2823 | 0.0% | 0.6% | ||
| $0.2194 | $0.2187 | 60.0% | 43.0% |
- 適用まで $0.0194 / 実効出力 $0.0375トークンシェア37.1%
- 適用まで $0.0397 / 実効出力 $0.0794トークンシェア19.2%
- 適用まで $0.1512 / 実効出力 $0.2823トークンシェア0.6%
- 適用まで $0.2194 / 実効出力 $0.2187トークンシェア43.0%
パフォーマンス
スループットはモデルが出力する速さです(毎秒のトークン数で、数値が高いほど優れています)。レイテンシは往復にかかる合計時間です(短いほど優れています)。TTFT は最初のトークンが出力されるまでの時間、つまり何かが表示され始めるまでの時間です(短いほど優れています)。
P50、プロバイダー全体での最良値
P50、最適なプロバイダー
稼働率
稼働率は、過去 3 日間に少なくとも一社のプロバイダーがリクエストに応答していた時間の割合です。可用性は、推論が正常に提供された時間の割合です。OpenRouter は継続的に監視し、プロバイダーがエラーを返すと、次に最適なプロバイダーを使用します。
過去 3 日間の可用性
過去 72 時間過去 24 時間の可用性
上流のプロバイダーでエラーが発生した場合、リクエストフィルターが許可していれば、別の正常なプロバイダーにルーティングして復旧できます。プロバイダーごとの稼働率データにプログラムでアクセスするには Endpoints APIを利用できます。詳しくは、 負荷分散とプロバイダールーティングのオプションをご覧ください。
ベンチマーク
標準化された評価のスコアと、共通のベンチマークプロンプトに対するこのモデル自身の出力です。パーセンテージが高いほど優れており、各順位は、その情報源で評価されたモデルの中でのこのモデルの位置を示します。
| 出典 | ベンチマーク | スコア |
|---|---|---|
| Artificial Analysis | Llama 3.1 Instruct 8B Coding Index | 5.4 |
| Artificial Analysis | Llama 3.1 Instruct 8B GPQA Diamond | 25.9% |
| Artificial Analysis | Llama 3.1 Instruct 8B HLE | 5.3% |
| Artificial Analysis | Llama 3.1 Instruct 8B IFBench | 28.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B τ²-Bench Telecom | 16.4% |
| Artificial Analysis | Llama 3.1 Instruct 8B AA-LCR | 18.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B GDPval-AA | 0.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B CritPt | 0.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B LiveCodeBench | 11.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B Terminal-Bench Hard | 0.8% |
| Artificial Analysis | Llama 3.1 Instruct 8B Terminal-Bench 2.1 | 1.5% |
| Artificial Analysis | Llama 3.1 Instruct 8B MMLU-Pro | 47.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B AIME 2025 | 4.3% |
| Artificial Analysis | Llama 3.1 Instruct 8B AIME | 7.7% |
| Artificial Analysis | Llama 3.1 Instruct 8B MATH-500 | 51.9% |
アプリ
このモデルに最も多くのトラフィックを送信している公開アプリです。実際の本番ワークロードを把握するための有力な指標であり、このモデルに最も適したユースケースを知る手がかりにもなります。
アクティビティ
このモデルのトークン量とリクエストトラフィックの経時変化です。
API
このモデルを呼び出すために、そのまま使えるコードです。OpenRouter の API は OpenAI 互換のため、ほとんどの SDK はベース URL を変更するだけで動作します。モデル間で変わるのは、下記のモデルスラッグだけです。
現在、EU 域内ルーティングでは利用できません。 リージョン内ルーティングのドキュメント
よくある質問
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient. It has demonstrated strong performance compared to leading closed-source models in human evaluations. To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.
Llama 3.1 8B Instruct の料金は $0.02/M 入力トークン と $0.04/M 出力トークン です。
Llama 3.1 8B Instruct のコンテキストウィンドウは 131,072 トークンです。最大 16,384 トークンの補完に対応しています。
はい。Llama 3.1 8B Instruct は、このモデルを提供する 4 社のプロバイダーのうち 2 社で関数呼び出し用の tools と tool_choice を受け付け、ツールを送信するリクエストはそれらのプロバイダーにルーティングされます。 response_format の JSON スキーマによる構造化出力にも対応しています。
Llama 3.1 8B Instruct は OpenRouter 上で 4 社のプロバイダー(DeepInfra、Groq、Cloudflare、CoreWeave)によって提供されています。 リクエストは利用可能な最適なプロバイダーにルーティングされ、他のプロバイダーへの自動フェイルオーバーに対応しており、プロバイダールーティングでプロバイダーを固定または除外できます。
Llama 3.1 8B Instruct は 2024年7月23日 にリリースされました。知識のカットオフ日は 2023年12月31日 です。