Favicon de meta-llama

Meta: Llama 3.1 70B Instruct

meta-llama/llama-3.1-70b-instruct

Pesos do modelo

Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases.

It has demonstrated strong performance compared to leading closed-source models in human evaluations.

To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.

Modalidades
Preço de entrada / saída
US$ 0,72 / US$ 0,72por 1M
Contexto
131K
Lançado
23 de jul. de 2024
Data de corte do conhecimento
dez. de 2023

Provedores

Este modelo é hospedado por um provedor. O OpenRouter encaminha todas as solicitações sem roteamento.

Preços

O preço médio que os clientes realmente pagam por este modelo, ao lado dos preços publicados pelos provedores. O cache e os descontos fazem com que o preço efetivamente pago seja frequentemente bem inferior ao preço anunciado.

Média ponderada

Entrada
US$ 0,7191/M tokens
Saída
US$ 0,7157/M tokens
Histórico de preços
Nenhum dado de preço efetivo para esta seleção

Desempenho

A vazão indica a velocidade com que o modelo escreve (tokens por segundo — quanto maior, melhor). A latência é o tempo total de ida e volta (quanto menor, melhor). TTFT é o tempo até o primeiro token — quanto tempo leva para você ver algo aparecer (quanto menor, melhor).

Taxa de transferência
62tok/s

P50, melhor entre os provedores

Latência
0,43s

P50, melhor provedor

Disponibilidade

A disponibilidade é a porcentagem dos últimos 3 dias em que pelo menos um provedor estava respondendo às solicitações. A disponibilidade é a porcentagem de tempo em que a inferência foi realizada com sucesso. O OpenRouter monitora continuamente e usa o próximo melhor provedor quando um deles retorna um erro.

Disponibilidade (3d)O modelo estava acessível. Requisição roteada para um provedor.
100,00%
Disponibilidade (3d)O modelo retornou inferência de qualquer provedor. Erros e respostas vazias contam negativamente para essa métrica.
99,96%

Disponibilidade nos últimos 3 dias

Últimas 72 horas
Disponibilidade 99,96%
Há 3 diasHá 2 diasOntemAgora

Disponibilidade nas últimas 24 horas

OpenRouter Availability
99,94%

Quando ocorre um erro em um provedor upstream, podemos nos recuperar roteando para outro provedor saudável, se os filtros da sua solicitação permitirem. Você pode acessar os dados de disponibilidade por provedor de forma programática pela API de endpoints. Saiba mais sobre nossas opções de balanceamento de carga e roteamento de provedores.

Avaliações de desempenho

Pontuações em avaliações padronizadas e as próprias saídas deste modelo para prompts compartilhados de testes de desempenho. Porcentagens maiores são melhores — e cada posição mostra onde este modelo fica entre os modelos avaliados naquela fonte.

Resumo das pontuações de avaliações comparativas para Meta: Llama 3.1 70B Instruct (Artificial Analysis)
FonteAvaliação comparativaPontuação
Artificial AnalysisLlama 3.1 Instruct 70B GPQA Diamond40.9%
Artificial AnalysisLlama 3.1 Instruct 70B HLE4.5%
Artificial AnalysisLlama 3.1 Instruct 70B IFBench34.4%
Artificial AnalysisLlama 3.1 Instruct 70B τ²-Bench Telecom15.2%
Artificial AnalysisLlama 3.1 Instruct 70B CritPt0.0%
Artificial AnalysisLlama 3.1 Instruct 70B LiveCodeBench23.2%
Artificial AnalysisLlama 3.1 Instruct 70B Terminal-Bench Hard3.0%
Artificial AnalysisLlama 3.1 Instruct 70B MMLU-Pro67.6%
Artificial AnalysisLlama 3.1 Instruct 70B AIME 20254.0%
Artificial AnalysisLlama 3.1 Instruct 70B AIME17.3%
Artificial AnalysisLlama 3.1 Instruct 70B MATH-50064.9%

Aplicativos

Aplicativos públicos que enviam mais tráfego para este modelo. Um bom indicador de como são as cargas de trabalho reais em produção — e uma pista sobre os casos de uso para os quais este modelo é mais adequado.

1.
227Mtokens
2.
Favicon de https://sillytavern.app/
SillyTavern
77,8Mtokens
3.
49,7Mtokens
4.
Favicon de https://art-from-the-machine.github.io/
Mantella
36,3Mtokens
5.
Favicon de https://nousresearch.com
Hermes Agent
35,6Mtokens
Restante do OpenRouter
69,8M
5 principais aplicativos
3,18M

Atividade

Volume de tokens e tráfego de requisições para este modelo ao longo do tempo.

API

Código pronto para chamar este modelo. A API do OpenRouter é compatível com a OpenAI — a maioria dos SDKs funciona apenas trocando a URL base. A única coisa que muda entre os modelos é o slug do modelo abaixo.

Atualmente indisponível por meio do roteamento intrarregional da UE. Documentação de roteamento na região

Perguntas frequentes