
Meta: Llama 3.1 8B Instruct (nitro)
meta-llama/llama-3.1-8b-instruct:nitro
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.
It has demonstrated strong performance compared to leading closed-source models in human evaluations.
To read more about the model release, click hereOpens in new tab. Usage of this model is subject to Meta's Acceptable Use PolicyOpens in new tab.
Provedores
Diferentes empresas hospedam o mesmo modelo. O OpenRouter roteia sua solicitação para uma delas com base no modo de roteamento escolhido: Balanced (preço + velocidade), Nitro (mais rápido) ou Floor (mais barato).
| Provedor | Entrada /M | Saída /M | Leitura de cache /M | Latência | Taxa de processamento | Disponibilidade |
|---|---|---|---|---|---|---|
| US$ 0,050 | US$ 0,080 | US$ 0,025 | 0,14s | 362 tok/s | ||
| US$ 0,220 | US$ 0,220 | US$ 0,220 | 0,25s | 124 tok/s | ||
| US$ 0,020 | US$ 0,040 | -- | 0,67s | 27 tok/s | ||
| US$ 0,152 | US$ 0,287 | -- | 0,45s | 16 tok/s |
- Entrada US$ 0,05 / Saída US$ 0,08362 tok/s98,99% de disponibilidade
- Entrada US$ 0,22 / Saída US$ 0,22124 tok/s98,21% de disponibilidade
Entrada US$ 0,02 / Saída US$ 0,0427 tok/s100,00% de disponibilidade- Entrada US$ 0,152 / Saída US$ 0,28716 tok/s98,86% de disponibilidade
Preços
O preço médio que os clientes realmente pagam por este modelo, ao lado dos preços publicados pelos provedores. O cache e os descontos fazem com que o preço efetivamente pago seja frequentemente bem inferior ao preço anunciado.
Média ponderada
Llama 3.1 8B Instruct — Histórico de preços
| US$ 0,0196 | US$ 0,0383 | 0,0% | 67,3% | ||
| US$ 0,0436 | US$ 0,0789 | 24,8% | 23,8% | ||
| US$ 0,1513 | US$ 0,2829 | 0,0% | 2,0% | ||
| US$ 0,2194 | US$ 0,2188 | 40,4% | 7,0% |
- Em vigor em US$ 0,0196 / Saída efetiva US$ 0,0383Participação em tokens67,3%
- Em vigor em US$ 0,0436 / Saída efetiva US$ 0,0789Participação em tokens23,8%
- Em vigor em US$ 0,1513 / Saída efetiva US$ 0,2829Participação em tokens2,0%
- Em vigor em US$ 0,2194 / Saída efetiva US$ 0,2188Participação em tokens7,0%
Desempenho
A vazão indica a velocidade com que o modelo escreve (tokens por segundo — quanto maior, melhor). A latência é o tempo total de ida e volta (quanto menor, melhor). TTFT é o tempo até o primeiro token — quanto tempo leva para você ver algo aparecer (quanto menor, melhor).
P50, melhor entre os provedores
P50, melhor provedor
Disponibilidade
A disponibilidade é a porcentagem dos últimos 3 dias em que pelo menos um provedor estava respondendo às solicitações. A disponibilidade é a porcentagem de tempo em que a inferência foi realizada com sucesso. O OpenRouter monitora continuamente e usa o próximo melhor provedor quando um deles retorna um erro.
Disponibilidade nos últimos 3 dias
Últimas 72 horasDisponibilidade nas últimas 24 horas
Quando ocorre um erro em um provedor upstream, podemos nos recuperar roteando para outro provedor saudável, se os filtros da sua solicitação permitirem. Você pode acessar os dados de disponibilidade por provedor de forma programática pela API de endpoints. Saiba mais sobre nossas opções de balanceamento de carga e roteamento de provedores.
Avaliações de desempenho
Pontuações em avaliações padronizadas e as próprias saídas deste modelo para prompts compartilhados de testes de desempenho. Porcentagens maiores são melhores — e cada posição mostra onde este modelo fica entre os modelos avaliados naquela fonte.
| Fonte | Avaliação comparativa | Pontuação |
|---|---|---|
| Artificial Analysis | Llama 3.1 Instruct 8B Coding Index | 5,4 |
| Artificial Analysis | Llama 3.1 Instruct 8B GPQA Diamond | 25.9% |
| Artificial Analysis | Llama 3.1 Instruct 8B HLE | 5.3% |
| Artificial Analysis | Llama 3.1 Instruct 8B IFBench | 28.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B τ²-Bench Telecom | 16.4% |
| Artificial Analysis | Llama 3.1 Instruct 8B AA-LCR | 18.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B GDPval-AA | 0.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B CritPt | 0.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B LiveCodeBench | 11.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B Terminal-Bench Hard | 0.8% |
| Artificial Analysis | Llama 3.1 Instruct 8B Terminal-Bench 2.1 | 1.5% |
| Artificial Analysis | Llama 3.1 Instruct 8B MMLU-Pro | 47.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B AIME 2025 | 4.3% |
| Artificial Analysis | Llama 3.1 Instruct 8B AIME | 7.7% |
| Artificial Analysis | Llama 3.1 Instruct 8B MATH-500 | 51.9% |
Aplicativos
Aplicativos públicos que enviam mais tráfego para este modelo. Um bom indicador de como são as cargas de trabalho reais em produção — e uma pista sobre os casos de uso para os quais este modelo é mais adequado.
Atividade
Volume de tokens e tráfego de requisições para este modelo ao longo do tempo.
API
Código pronto para chamar este modelo. A API do OpenRouter é compatível com a OpenAI — a maioria dos SDKs funciona apenas trocando a URL base. A única coisa que muda entre os modelos é o slug do modelo abaixo.
Atualmente indisponível por meio do roteamento intrarregional da UE. Documentação de roteamento na região
Perguntas frequentes
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient. It has demonstrated strong performance compared to leading closed-source models in human evaluations. To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.
Llama 3.1 8B Instruct custa US$ 0,02/M de tokens de entrada e US$ 0,04/M de tokens de saída.
Llama 3.1 8B Instruct tem uma janela de contexto de 131.072 tokens. Ele aceita até 16.384 tokens de conclusão.
Sim. Llama 3.1 8B Instruct aceita tools e tool_choice para chamadas de função em 2 dos 4 provedores que o disponibilizam, e as solicitações que enviam ferramentas são roteadas para esses provedores. Também oferece suporte a saídas estruturadas por meio de um esquema JSON em response_format.
Llama 3.1 8B Instruct é servido por 4 provedores no OpenRouter: DeepInfra, Groq, Cloudflare e CoreWeave. As solicitações são roteadas para o melhor provedor disponível, com failover automático para os demais, e você pode fixar ou excluir provedores com o roteamento de provedores.
Llama 3.1 8B Instruct foi lançado em 23 de julho de 2024. Seu conhecimento vai até 31 de dezembro de 2023.