Favicon de meta-llama

Meta: Llama 3.1 8B Instruct (nitro)

meta-llama/llama-3.1-8b-instruct:nitro

Pesos do modelo

Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.

It has demonstrated strong performance compared to leading closed-source models in human evaluations.

To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.

Modalidades
Preço de entrada / saída
US$ 0,02 / US$ 0,04por 1M
Contexto
131K
Lançado
23 de jul. de 2024
Data de corte do conhecimento
dez. de 2023

Provedores

Diferentes empresas hospedam o mesmo modelo. O OpenRouter roteia sua solicitação para uma delas com base no modo de roteamento escolhido: Balanced (preço + velocidade), Nitro (mais rápido) ou Floor (mais barato).

Preços

O preço médio que os clientes realmente pagam por este modelo, ao lado dos preços publicados pelos provedores. O cache e os descontos fazem com que o preço efetivamente pago seja frequentemente bem inferior ao preço anunciado.

Média ponderada

Entrada
US$ 0,03988/M tokens
Saída
US$ 0,07207/M tokens
Histórico de preços
Nenhum dado de preço efetivo para esta seleção

Desempenho

A vazão indica a velocidade com que o modelo escreve (tokens por segundo — quanto maior, melhor). A latência é o tempo total de ida e volta (quanto menor, melhor). TTFT é o tempo até o primeiro token — quanto tempo leva para você ver algo aparecer (quanto menor, melhor).

Taxa de transferência
362tok/s

P50, melhor entre os provedores

Latência
0,14s

P50, melhor provedor

Avaliações de desempenho do AutoExacto
GPQA DiamondTAU-BenchGroq30,1%--auto-routing25,2%33,7%CoreWeave27,7%--Novita26,3%--DeepInfra26,1%--
+1 provedores adicionais

Disponibilidade

A disponibilidade é a porcentagem dos últimos 3 dias em que pelo menos um provedor estava respondendo às solicitações. A disponibilidade é a porcentagem de tempo em que a inferência foi realizada com sucesso. O OpenRouter monitora continuamente e usa o próximo melhor provedor quando um deles retorna um erro.

Disponibilidade (3d)O modelo estava acessível. Requisição roteada para um provedor.
100,00%
Disponibilidade (3d)O modelo retornou inferência de qualquer provedor. Erros e respostas vazias contam negativamente para essa métrica.
99,94%

Disponibilidade nos últimos 3 dias

Últimas 72 horas
Disponibilidade 99,94%
Há 3 diasHá 2 diasOntemAgora

Disponibilidade nas últimas 24 horas

OpenRouter Availability
99,97%
Without Routing
93,04%

Quando ocorre um erro em um provedor upstream, podemos nos recuperar roteando para outro provedor saudável, se os filtros da sua solicitação permitirem. Você pode acessar os dados de disponibilidade por provedor de forma programática pela API de endpoints. Saiba mais sobre nossas opções de balanceamento de carga e roteamento de provedores.

Avaliações de desempenho

Pontuações em avaliações padronizadas e as próprias saídas deste modelo para prompts compartilhados de testes de desempenho. Porcentagens maiores são melhores — e cada posição mostra onde este modelo fica entre os modelos avaliados naquela fonte.

Resumo das pontuações de avaliações comparativas para Meta: Llama 3.1 8B Instruct (Artificial Analysis)
FonteAvaliação comparativaPontuação
Artificial AnalysisLlama 3.1 Instruct 8B Coding Index5,4
Artificial AnalysisLlama 3.1 Instruct 8B GPQA Diamond25.9%
Artificial AnalysisLlama 3.1 Instruct 8B HLE5.3%
Artificial AnalysisLlama 3.1 Instruct 8B IFBench28.6%
Artificial AnalysisLlama 3.1 Instruct 8B τ²-Bench Telecom16.4%
Artificial AnalysisLlama 3.1 Instruct 8B AA-LCR18.0%
Artificial AnalysisLlama 3.1 Instruct 8B GDPval-AA0.0%
Artificial AnalysisLlama 3.1 Instruct 8B CritPt0.0%
Artificial AnalysisLlama 3.1 Instruct 8B LiveCodeBench11.6%
Artificial AnalysisLlama 3.1 Instruct 8B Terminal-Bench Hard0.8%
Artificial AnalysisLlama 3.1 Instruct 8B Terminal-Bench 2.11.5%
Artificial AnalysisLlama 3.1 Instruct 8B MMLU-Pro47.6%
Artificial AnalysisLlama 3.1 Instruct 8B AIME 20254.3%
Artificial AnalysisLlama 3.1 Instruct 8B AIME7.7%
Artificial AnalysisLlama 3.1 Instruct 8B MATH-50051.9%

Aplicativos

Aplicativos públicos que enviam mais tráfego para este modelo. Um bom indicador de como são as cargas de trabalho reais em produção — e uma pista sobre os casos de uso para os quais este modelo é mais adequado.

1.
5,35Btokens
3.
2,23Btokens
4.
1,6Btokens
5.
1,22Btokens
Restante do OpenRouter
3,3B
5 principais aplicativos
456M

Atividade

Volume de tokens e tráfego de requisições para este modelo ao longo do tempo.

API

Código pronto para chamar este modelo. A API do OpenRouter é compatível com a OpenAI — a maioria dos SDKs funciona apenas trocando a URL base. A única coisa que muda entre os modelos é o slug do modelo abaixo.

Atualmente indisponível por meio do roteamento intrarregional da UE. Documentação de roteamento na região

Perguntas frequentes