meta-llama 的网站图标

Meta: Llama 3.1 8B Instruct (nitro)

meta-llama/llama-3.1-8b-instruct:nitro

模型权重

Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.

It has demonstrated strong performance compared to leading closed-source models in human evaluations.

To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.

模态
输入/输出价格
US$0.02 / US$0.04每 1M
上下文
131K
发布时间
2024年7月23日
知识截止日期
2023年12月

提供商

不同公司托管同一模型。OpenRouter 根据您选择的路由模式将请求路由到其中一家公司:Balanced(价格 + 速度)、Nitro(速度最快)或 Floor(价格最低)。

定价

客户为此模型实际支付的平均价格,与提供商公布的价格并列展示。由于缓存和折扣,实际支付的价格往往远低于标价。

加权平均值

输入
US$0.09017/百万 token
输出
US$0.1217/百万 token
价格历史
当前选择无实际价格数据

性能

吞吐量是模型生成内容的速度(每秒 token 数,越高越好)。延迟是完整的往返时间(越低越好)。TTFT 是首个 token 的响应时间,即您看到内容出现前需要等待的时间(越低越好)。

吞吐量
409token/秒

P50,所有提供商中最佳

延迟
0.17秒

P50,最佳提供商

AutoExacto 基准测试
GPQA DiamondTAU-BenchGroq30.1%--auto-routing25.2%33.7%CoreWeave27.7%--DeepInfra27.0%--Novita26.3%--
+1 家其他提供商

正常运行时间

正常运行时间是指过去 3 天中至少有一家提供商响应请求的时间百分比。可用性是指成功提供推理服务的时间百分比。OpenRouter 会持续监控,并在某家提供商返回错误时使用次优提供商。

正常运行时间(3 天)模型可访问。请求已路由至提供商。
100.00%
可用性(3 天)模型通过任意提供商返回了推理结果。错误和空响应均计为失败。
99.94%

过去 3 天的可用性

最近 72 小时
可用性 99.94%
3 天前2 天前昨天现在

过去 24 小时的可用性

OpenRouter Availability
99.98%
Without Routing
97.38%

当上游提供商发生错误时,如果您的请求筛选条件允许,我们可以通过路由到另一家健康的提供商来恢复服务。您可以通过以下接口以编程方式访问各提供商的正常运行时间数据: 端点 API。了解更多有关我们的 负载均衡和提供商路由选项。

基准测试

标准化评测得分,以及此模型针对共用基准测试提示词的实际输出。百分比越高越好,每项排名显示此模型在该来源所评测的模型中的位置。

基准测试得分摘要: Meta: Llama 3.1 8B Instruct (Artificial Analysis)
来源基准测试得分
Artificial AnalysisLlama 3.1 Instruct 8B Coding Index5.4
Artificial AnalysisLlama 3.1 Instruct 8B GPQA Diamond25.9%
Artificial AnalysisLlama 3.1 Instruct 8B HLE5.3%
Artificial AnalysisLlama 3.1 Instruct 8B IFBench28.6%
Artificial AnalysisLlama 3.1 Instruct 8B τ²-Bench Telecom16.4%
Artificial AnalysisLlama 3.1 Instruct 8B AA-LCR18.0%
Artificial AnalysisLlama 3.1 Instruct 8B GDPval-AA0.0%
Artificial AnalysisLlama 3.1 Instruct 8B CritPt0.0%
Artificial AnalysisLlama 3.1 Instruct 8B LiveCodeBench11.6%
Artificial AnalysisLlama 3.1 Instruct 8B Terminal-Bench Hard0.8%
Artificial AnalysisLlama 3.1 Instruct 8B Terminal-Bench 2.11.5%
Artificial AnalysisLlama 3.1 Instruct 8B MMLU-Pro47.6%
Artificial AnalysisLlama 3.1 Instruct 8B AIME 20254.3%
Artificial AnalysisLlama 3.1 Instruct 8B AIME7.7%
Artificial AnalysisLlama 3.1 Instruct 8B MATH-50051.9%

应用

向此模型发送最多流量的公开应用。这能很好地反映实际生产工作负载的情况,也能提示此模型最适合哪些用例。

1.
https://swoony.ai/ 的网站图标
Swoony
新增
5.15Btoken
3.
https://xreacher.com/ 的网站图标
Xreacher
新增
2.45Btoken
4.
https://reverie.im/ 的网站图标
Reverie
新增
1.54Btoken
5.
1.22Btoken
OpenRouter 的其他部分
6.21B
前 5 大应用
438M

活动

此模型的 token 用量和请求流量随时间的变化。

API

可直接用于调用此模型的代码。OpenRouter 的 API 与 OpenAI 兼容——大多数 SDK 只需替换基础 URL 即可使用。切换模型时,唯一需要更改的是下方的模型标识符。

目前无法通过 EU 区域内路由使用。 区域内路由文档

常见问题

探索更多模型