Favicon de meta-llama

Meta: Llama 3.1 8B Instruct

meta-llama/llama-3.1-8b-instruct

Pesos del modelo

Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.

It has demonstrated strong performance compared to leading closed-source models in human evaluations.

To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.

Modalidades
Precio de entrada / salida
0,02 US$ / 0,04 US$por 1M
Contexto
131K
Publicado
23 jul 2024
Fecha límite de conocimiento
dic 2023

Proveedores

Distintas empresas alojan el mismo modelo. OpenRouter enruta su solicitud a una de ellas según el modo de enrutamiento que elija: Balanced (precio + velocidad), Nitro (el más rápido) o Floor (el más económico).

Precios

El precio medio que los clientes pagan realmente por este modelo, junto a los precios que publican los proveedores. El uso de caché y los descuentos hacen que el precio realmente pagado a menudo sea muy inferior al publicado.

Media ponderada

Entrada
0,1067 US$/M tokens
Salida
0,1346 US$/M tokens
Historial de precios
No hay datos de precios efectivos para esta selección

Rendimiento

La velocidad de generación indica lo rápido que escribe el modelo (tokens por segundo: cuanto mayor, mejor). La latencia es el tiempo total de ida y vuelta (cuanto menor, mejor). TTFT es el tiempo hasta el primer token: cuánto tarda en aparecer algo en pantalla (cuanto menor, mejor).

Rendimiento
579tok/s

P50, el mejor entre los proveedores

Latencia
0,20s

P50, mejor proveedor

Pruebas de rendimiento de AutoExacto
GPQA DiamondTAU-Benchauto-routing26,9 %33,7 %Groq30,1 %--CoreWeave27,7 %--Novita26,3 %--DeepInfra26,3 %--
+1 proveedores más

Tiempo de actividad

El tiempo de actividad es el porcentaje de los últimos 3 días en que al menos un proveedor respondía a las solicitudes. La disponibilidad es el porcentaje de tiempo en que la inferencia se sirvió correctamente. OpenRouter supervisa continuamente y utiliza el siguiente mejor proveedor cuando uno devuelve un error.

Tiempo de actividad (3 d)El modelo estaba accesible. Solicitud enrutada a un proveedor.
100,00 %
Disponibilidad (3 d)El modelo devolvió una inferencia de cualquier proveedor. Los errores y las respuestas vacías cuentan en su contra.
99,93 %

Disponibilidad durante los últimos 3 días

Últimas 72 horas
Disponibilidad 99,93 %
Hace 3 díasHace 2 díasAyerAhora

Disponibilidad en las últimas 24 horas

OpenRouter Availability
99,88 %
Without Routing
98,67 %

Cuando se produce un error en un proveedor ascendente, podemos recuperarnos enrutando la solicitud a otro proveedor que funcione correctamente, si los filtros de su solicitud lo permiten. Puede acceder mediante programación a los datos de tiempo de actividad de cada proveedor a través de la API de endpoints. Obtenga más información sobre nuestras opciones de equilibrio de carga y enrutamiento de proveedores.

Pruebas de rendimiento

Puntuaciones en evaluaciones estandarizadas y respuestas de este modelo a instrucciones compartidas de las pruebas de referencia. Los porcentajes más altos son mejores, y cada posición indica dónde se sitúa este modelo entre los modelos evaluados en esa fuente.

Resumen de puntuaciones en pruebas de rendimiento de Meta: Llama 3.1 8B Instruct (Artificial Analysis)
FuentePrueba de rendimientoPuntuación
Artificial AnalysisLlama 3.1 Instruct 8B Coding Index5,4
Artificial AnalysisLlama 3.1 Instruct 8B GPQA Diamond25.9%
Artificial AnalysisLlama 3.1 Instruct 8B HLE5.3%
Artificial AnalysisLlama 3.1 Instruct 8B IFBench28.6%
Artificial AnalysisLlama 3.1 Instruct 8B τ²-Bench Telecom16.4%
Artificial AnalysisLlama 3.1 Instruct 8B AA-LCR18.0%
Artificial AnalysisLlama 3.1 Instruct 8B GDPval-AA0.0%
Artificial AnalysisLlama 3.1 Instruct 8B CritPt0.0%
Artificial AnalysisLlama 3.1 Instruct 8B LiveCodeBench11.6%
Artificial AnalysisLlama 3.1 Instruct 8B Terminal-Bench Hard0.8%
Artificial AnalysisLlama 3.1 Instruct 8B Terminal-Bench 2.11.5%
Artificial AnalysisLlama 3.1 Instruct 8B MMLU-Pro47.6%
Artificial AnalysisLlama 3.1 Instruct 8B AIME 20254.3%
Artificial AnalysisLlama 3.1 Instruct 8B AIME7.7%
Artificial AnalysisLlama 3.1 Instruct 8B MATH-50051.9%

Aplicaciones

Aplicaciones públicas que envían más tráfico a este modelo. Una buena señal de cómo son las cargas de trabajo reales en producción, y una pista sobre los casos de uso para los que este modelo es más adecuado.

1.
Favicon de https://swoony.ai/
Swoony
nuevo
5,03Btókenes
3.
2,44Btókenes
4.
1,51Btókenes
5.
1,22Btókenes
Resto de OpenRouter
3,84B
Las 5 aplicaciones principales
251M

Actividad

Volumen de tokens y tráfico de solicitudes a este modelo a lo largo del tiempo.

API

Código listo para usar para llamar a este modelo. La API de OpenRouter es compatible con OpenAI: la mayoría de los SDK funcionan con solo cambiar la URL base. Lo único que cambia entre modelos es el identificador del modelo que aparece a continuación.

Actualmente no está disponible mediante el enrutamiento dentro de la región de la UE. Documentación de enrutamiento dentro de la región

Preguntas frecuentes