meta-llama 的网站图标

Meta: Llama 3.1 70B Instruct

meta-llama/llama-3.1-70b-instruct

模型权重

Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases.

It has demonstrated strong performance compared to leading closed-source models in human evaluations.

To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.

模态
输入/输出价格
US$0.72 / US$0.72每 1M
上下文
131K
发布时间
2024年7月23日
知识截止日期
2023年12月

提供商

此模型由一家提供商托管。OpenRouter 直接转发每个请求,不进行路由。

定价

客户为此模型实际支付的平均价格,与提供商公布的价格并列展示。由于缓存和折扣,实际支付的价格往往远低于标价。

加权平均值

输入
US$0.7191/百万 token
输出
US$0.7155/百万 token
价格历史
当前选择无实际价格数据

性能

吞吐量是模型生成内容的速度(每秒 token 数,越高越好)。延迟是完整的往返时间(越低越好)。TTFT 是首个 token 的响应时间,即您看到内容出现前需要等待的时间(越低越好)。

吞吐量
72token/秒

P50,所有提供商中最佳

延迟
0.36秒

P50,最佳提供商

正常运行时间

正常运行时间是指过去 3 天中至少有一家提供商响应请求的时间百分比。可用性是指成功提供推理服务的时间百分比。OpenRouter 会持续监控,并在某家提供商返回错误时使用次优提供商。

正常运行时间(3 天)模型可访问。请求已路由至提供商。
100.00%
可用性(3 天)模型通过任意提供商返回了推理结果。错误和空响应均计为失败。
99.95%

过去 3 天的可用性

最近 72 小时
可用性 99.95%
3 天前2 天前昨天现在

过去 24 小时的可用性

OpenRouter Availability
99.93%

当上游提供商发生错误时,如果您的请求筛选条件允许,我们可以通过路由到另一家健康的提供商来恢复服务。您可以通过以下接口以编程方式访问各提供商的正常运行时间数据: 端点 API。了解更多有关我们的 负载均衡和提供商路由选项。

基准测试

标准化评测得分,以及此模型针对共用基准测试提示词的实际输出。百分比越高越好,每项排名显示此模型在该来源所评测的模型中的位置。

基准测试得分摘要: Meta: Llama 3.1 70B Instruct (Artificial Analysis)
来源基准测试得分
Artificial AnalysisLlama 3.1 Instruct 70B GPQA Diamond40.9%
Artificial AnalysisLlama 3.1 Instruct 70B HLE4.5%
Artificial AnalysisLlama 3.1 Instruct 70B IFBench34.4%
Artificial AnalysisLlama 3.1 Instruct 70B τ²-Bench Telecom15.2%
Artificial AnalysisLlama 3.1 Instruct 70B CritPt0.0%
Artificial AnalysisLlama 3.1 Instruct 70B LiveCodeBench23.2%
Artificial AnalysisLlama 3.1 Instruct 70B Terminal-Bench Hard3.0%
Artificial AnalysisLlama 3.1 Instruct 70B MMLU-Pro67.6%
Artificial AnalysisLlama 3.1 Instruct 70B AIME 20254.0%
Artificial AnalysisLlama 3.1 Instruct 70B AIME17.3%
Artificial AnalysisLlama 3.1 Instruct 70B MATH-50064.9%

应用

向此模型发送最多流量的公开应用。这能很好地反映实际生产工作负载的情况,也能提示此模型最适合哪些用例。

1.
228Mtoken
2.
https://sillytavern.app/ 的网站图标
SillyTavern
77.8Mtoken
3.
49.7Mtoken
4.
https://art-from-the-machine.github.io/ 的网站图标
Mantella
36.4Mtoken
5.
https://nousresearch.com 的网站图标
Hermes Agent
35.6Mtoken
OpenRouter 的其他部分
77.2M
前 5 大应用
3.76M

活动

此模型的 token 用量和请求流量随时间的变化。

API

可直接用于调用此模型的代码。OpenRouter 的 API 与 OpenAI 兼容——大多数 SDK 只需替换基础 URL 即可使用。切换模型时,唯一需要更改的是下方的模型标识符。

目前无法通过 EU 区域内路由使用。 区域内路由文档

常见问题

探索更多模型