
Meta: Llama 3.1 8B Instruct (nitro)
meta-llama/llama-3.1-8b-instruct:nitro
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.
It has demonstrated strong performance compared to leading closed-source models in human evaluations.
To read more about the model release, click hereOpens in new tab. Usage of this model is subject to Meta's Acceptable Use PolicyOpens in new tab.
提供商
不同公司托管同一模型。OpenRouter 根据您选择的路由模式将请求路由到其中一家公司:Balanced(价格 + 速度)、Nitro(速度最快)或 Floor(价格最低)。
| 提供商 | 输入 /百万 | 输出 /百万 | 缓存读取 /百万 | 延迟 | 吞吐量 | 正常运行时间 |
|---|---|---|---|---|---|---|
| US$0.050 | US$0.080 | US$0.025 | 0.18s | 409 tok/s | ||
| US$0.220 | US$0.220 | US$0.220 | 0.19s | 145 tok/s | ||
| US$0.152 | US$0.287 | -- | 0.43s | 19 tok/s | ||
| US$0.020 | US$0.040 | -- | 0.69s | 18 tok/s |
- 输入 US$0.05 / 输出 US$0.08409 tok/s99.14% 正常运行时间
- 输入 US$0.22 / 输出 US$0.22145 tok/s98.25% 正常运行时间
- 输入 US$0.152 / 输出 US$0.28719 tok/s98.38% 正常运行时间
输入 US$0.02 / 输出 US$0.0418 tok/s100.00% 正常运行时间
定价
客户为此模型实际支付的平均价格,与提供商公布的价格并列展示。由于缓存和折扣,实际支付的价格往往远低于标价。
加权平均值
Llama 3.1 8B Instruct — 价格历史
| US$0.0196 | US$0.0383 | 0.0% | 41.0% | ||
| US$0.0394 | US$0.0797 | 41.5% | 24.2% | ||
| US$0.1513 | US$0.2829 | 0.0% | 1.2% | ||
| US$0.2198 | US$0.2196 | 61.4% | 33.5% |
- 有效输入价格 US$0.0196 / 实际输出 US$0.0383token 占比41.0%
- 有效输入价格 US$0.0394 / 实际输出 US$0.0797token 占比24.2%
- 有效输入价格 US$0.1513 / 实际输出 US$0.2829token 占比1.2%
- 有效输入价格 US$0.2198 / 实际输出 US$0.2196token 占比33.5%
性能
吞吐量是模型生成内容的速度(每秒 token 数,越高越好)。延迟是完整的往返时间(越低越好)。TTFT 是首个 token 的响应时间,即您看到内容出现前需要等待的时间(越低越好)。
P50,所有提供商中最佳
P50,最佳提供商
正常运行时间
正常运行时间是指过去 3 天中至少有一家提供商响应请求的时间百分比。可用性是指成功提供推理服务的时间百分比。OpenRouter 会持续监控,并在某家提供商返回错误时使用次优提供商。
过去 3 天的可用性
最近 72 小时过去 24 小时的可用性
当上游提供商发生错误时,如果您的请求筛选条件允许,我们可以通过路由到另一家健康的提供商来恢复服务。您可以通过以下接口以编程方式访问各提供商的正常运行时间数据: 端点 API。了解更多有关我们的 负载均衡和提供商路由选项。
基准测试
标准化评测得分,以及此模型针对共用基准测试提示词的实际输出。百分比越高越好,每项排名显示此模型在该来源所评测的模型中的位置。
| 来源 | 基准测试 | 得分 |
|---|---|---|
| Artificial Analysis | Llama 3.1 Instruct 8B Coding Index | 5.4 |
| Artificial Analysis | Llama 3.1 Instruct 8B GPQA Diamond | 25.9% |
| Artificial Analysis | Llama 3.1 Instruct 8B HLE | 5.3% |
| Artificial Analysis | Llama 3.1 Instruct 8B IFBench | 28.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B τ²-Bench Telecom | 16.4% |
| Artificial Analysis | Llama 3.1 Instruct 8B AA-LCR | 18.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B GDPval-AA | 0.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B CritPt | 0.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B LiveCodeBench | 11.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B Terminal-Bench Hard | 0.8% |
| Artificial Analysis | Llama 3.1 Instruct 8B Terminal-Bench 2.1 | 1.5% |
| Artificial Analysis | Llama 3.1 Instruct 8B MMLU-Pro | 47.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B AIME 2025 | 4.3% |
| Artificial Analysis | Llama 3.1 Instruct 8B AIME | 7.7% |
| Artificial Analysis | Llama 3.1 Instruct 8B MATH-500 | 51.9% |
应用
向此模型发送最多流量的公开应用。这能很好地反映实际生产工作负载的情况,也能提示此模型最适合哪些用例。
活动
此模型的 token 用量和请求流量随时间的变化。
API
可直接用于调用此模型的代码。OpenRouter 的 API 与 OpenAI 兼容——大多数 SDK 只需替换基础 URL 即可使用。切换模型时,唯一需要更改的是下方的模型标识符。
目前无法通过 EU 区域内路由使用。 区域内路由文档
常见问题
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient. It has demonstrated strong performance compared to leading closed-source models in human evaluations. To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.
Llama 3.1 8B Instruct 的费用为 US$0.02/百万输入 token 和 US$0.04/百万输出 token。
Llama 3.1 8B Instruct 的上下文窗口为 131,072 个 token。它最多支持 16,384 个补全 token。
支持。在提供 Llama 3.1 8B Instruct 的 4 家提供商中,有 2 家支持该模型通过 tools 和 tool_choice 进行函数调用,包含工具的请求会被路由到这些提供商。 它还支持通过 response_format 中的 JSON schema 实现结构化输出。
在 OpenRouter 上,Llama 3.1 8B Instruct 由 4 家提供商提供服务:DeepInfra、Groq、Cloudflare和CoreWeave。 请求会路由至最佳的可用提供商,并在故障时自动切换至其他提供商,您也可以通过提供商路由固定或排除提供商。
Llama 3.1 8B Instruct 于 2024年7月23日 发布。其知识截止日期为 2023年12月31日。