meta-llama のファビコン

Meta: Llama 3.1 8B Instruct (nitro)

meta-llama/llama-3.1-8b-instruct:nitro

モデルの重み

Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.

It has demonstrated strong performance compared to leading closed-source models in human evaluations.

To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.

モダリティ
入力 / 出力料金
$0.02 / $0.041M あたり
コンテキスト
131K
公開日
2024年7月23日
知識のカットオフ
2023年12月

プロバイダー

同じモデルを複数の企業がホストしています。OpenRouter は、選択したルーティングモードである Balanced(価格 + 速度)、Nitro(最速)、Floor(最安)に基づいて、そのうちの一社にリクエストをルーティングします。

料金

プロバイダーが提示する価格と並べて、このモデルに対して顧客が実際に支払う平均価格を表示しています。キャッシュと割引により、実際の支払価格は表示価格を大幅に下回ることがよくあります。

加重平均

入力
$0.1067/百万トークン
出力
$0.1346/百万トークン
料金の推移
この選択に対応する実効価格データはありません

パフォーマンス

スループットはモデルが出力する速さです(毎秒のトークン数で、数値が高いほど優れています)。レイテンシは往復にかかる合計時間です(短いほど優れています)。TTFT は最初のトークンが出力されるまでの時間、つまり何かが表示され始めるまでの時間です(短いほど優れています)。

スループット
579トークン/秒

P50、プロバイダー全体での最良値

レイテンシ
0.20秒

P50、最適なプロバイダー

AutoExacto ベンチマーク
GPQA DiamondTAU-Benchauto-routing26.9%33.7%Groq30.1%--CoreWeave27.7%--Novita26.3%--DeepInfra26.3%--
+1 社のプロバイダー

稼働率

稼働率は、過去 3 日間に少なくとも一社のプロバイダーがリクエストに応答していた時間の割合です。可用性は、推論が正常に提供された時間の割合です。OpenRouter は継続的に監視し、プロバイダーがエラーを返すと、次に最適なプロバイダーを使用します。

稼働率(3 日間)モデルに接続できました。リクエストはプロバイダーにルーティングされました。
100.00%
可用性(3 日間)モデルがいずれかのプロバイダーから推論結果を返しました。エラーと空のレスポンスはマイナスとして集計されます。
99.93%

過去 3 日間の可用性

過去 72 時間
可用性 99.93%
3 日前2 日前昨日現在

過去 24 時間の可用性

OpenRouter Availability
99.88%
Without Routing
98.67%

上流のプロバイダーでエラーが発生した場合、リクエストフィルターが許可していれば、別の正常なプロバイダーにルーティングして復旧できます。プロバイダーごとの稼働率データにプログラムでアクセスするには Endpoints APIを利用できます。詳しくは、 負荷分散とプロバイダールーティングのオプションをご覧ください。

ベンチマーク

標準化された評価のスコアと、共通のベンチマークプロンプトに対するこのモデル自身の出力です。パーセンテージが高いほど優れており、各順位は、その情報源で評価されたモデルの中でのこのモデルの位置を示します。

ベンチマークスコアの概要: Meta: Llama 3.1 8B Instruct (Artificial Analysis)
出典ベンチマークスコア
Artificial AnalysisLlama 3.1 Instruct 8B Coding Index5.4
Artificial AnalysisLlama 3.1 Instruct 8B GPQA Diamond25.9%
Artificial AnalysisLlama 3.1 Instruct 8B HLE5.3%
Artificial AnalysisLlama 3.1 Instruct 8B IFBench28.6%
Artificial AnalysisLlama 3.1 Instruct 8B τ²-Bench Telecom16.4%
Artificial AnalysisLlama 3.1 Instruct 8B AA-LCR18.0%
Artificial AnalysisLlama 3.1 Instruct 8B GDPval-AA0.0%
Artificial AnalysisLlama 3.1 Instruct 8B CritPt0.0%
Artificial AnalysisLlama 3.1 Instruct 8B LiveCodeBench11.6%
Artificial AnalysisLlama 3.1 Instruct 8B Terminal-Bench Hard0.8%
Artificial AnalysisLlama 3.1 Instruct 8B Terminal-Bench 2.11.5%
Artificial AnalysisLlama 3.1 Instruct 8B MMLU-Pro47.6%
Artificial AnalysisLlama 3.1 Instruct 8B AIME 20254.3%
Artificial AnalysisLlama 3.1 Instruct 8B AIME7.7%
Artificial AnalysisLlama 3.1 Instruct 8B MATH-50051.9%

アプリ

このモデルに最も多くのトラフィックを送信している公開アプリです。実際の本番ワークロードを把握するための有力な指標であり、このモデルに最も適したユースケースを知る手がかりにもなります。

1.
https://swoony.ai/ のファビコン
Swoony
新着
5.03Bトークン
2.
4.07Bトークン
3.
https://xreacher.com/ のファビコン
Xreacher
新着
2.44Bトークン
4.
https://reverie.im/ のファビコン
Reverie
新着
1.51Bトークン
5.
1.22Bトークン
OpenRouter のその他のアプリ
3.84B
上位 5 アプリ
251M

アクティビティ

このモデルのトークン量とリクエストトラフィックの経時変化です。

API

このモデルを呼び出すために、そのまま使えるコードです。OpenRouter の API は OpenAI 互換のため、ほとんどの SDK はベース URL を変更するだけで動作します。モデル間で変わるのは、下記のモデルスラッグだけです。

現在、EU 域内ルーティングでは利用できません。 リージョン内ルーティングのドキュメント

よくある質問