Favicon für meta-llama

Meta: Llama 3.1 8B Instruct

meta-llama/llama-3.1-8b-instruct

Modellgewichte

Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.

It has demonstrated strong performance compared to leading closed-source models in human evaluations.

To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.

Modalitäten
Eingabe- / Ausgabepreis
0,02 $ / 0,04 $pro 1 Mio.
Kontext
131K
Veröffentlicht
23. Juli 2024
Wissensstand
Dez. 2023

Anbieter

Verschiedene Unternehmen hosten dasselbe Modell. OpenRouter leitet Ihre Anfrage je nach gewähltem Routing-Modus an eines davon weiter: Ausgewogen (Preis + Geschwindigkeit), Nitro (am schnellsten) oder Floor (am günstigsten).

Preise

Der durchschnittliche Preis, den Kunden tatsächlich für dieses Modell zahlen, neben den von Anbietern veröffentlichten Preisen. Durch Caching und Rabatte liegt der tatsächlich gezahlte Preis oft deutlich unter dem Listenpreis.

Gewichteter Durchschnitt

Eingabe
0,1104 $/Mio. Token
Ausgabe
0,1409 $/Mio. Token
Preisverlauf
Keine effektiven Preisdaten für diese Auswahl

Leistung

Der Durchsatz gibt an, wie schnell das Modell schreibt (Token pro Sekunde – höher ist besser). Die Latenz ist die gesamte Umlaufzeit (niedriger ist besser). TTFT ist die Zeit bis zum ersten Token – also die Wartezeit, bis etwas angezeigt wird (niedriger ist besser).

Durchsatz
603Token/s

P50, bester Wert über alle Anbieter hinweg

Latenz
0,15s

P50, bester Anbieter

AutoExacto-Leistungsvergleiche
GPQA DiamondTAU-Benchauto-routing26,9 %33,7 %Groq30,1 %--CoreWeave27,7 %--Novita26,3 %--DeepInfra26,3 %--
+1 weitere Anbieter

Verfügbarkeit

Verfügbarkeit ist der prozentuale Anteil der letzten 3 Tage, in dem mindestens ein Anbieter auf Anfragen reagiert hat. Die Verfügbarkeit der Inferenz ist der prozentuale Anteil der Zeit, in der Inferenz erfolgreich bereitgestellt wurde. OpenRouter überwacht dies kontinuierlich und verwendet den nächstbesten Anbieter, wenn ein Anbieter einen Fehler zurückgibt.

Verfügbarkeit (3 Tage)Das Modell war erreichbar. Die Anfrage wurde an einen Anbieter weitergeleitet.
100,00 %
Verfügbarkeit (3 Tage)Das Modell hat über einen beliebigen Anbieter ein Inferenzergebnis zurückgegeben. Fehler und leere Antworten wirken sich negativ darauf aus.
99,93 %

Verfügbarkeit in den letzten 3 Tagen

Letzte 72 Stunden
Verfügbarkeit 99,93 %
Vor 3 TagenVor 2 TagenGesternJetzt

Verfügbarkeit in den letzten 24 Stunden

OpenRouter Availability
99,87 %
Without Routing
98,73 %

Wenn bei einem vorgelagerten Anbieter ein Fehler auftritt, können wir diesen durch die Weiterleitung an einen anderen funktionsfähigen Anbieter beheben, sofern Ihre Anfragefilter dies zulassen. Sie können programmgesteuert auf die Verfügbarkeitsdaten pro Anbieter zugreifen, und zwar über die Endpunkt-API. Erfahren Sie mehr über unsere Optionen für Lastverteilung und Anbieter-Routing.

Leistungsvergleiche

Ergebnisse standardisierter Bewertungen und eigene Ausgaben dieses Modells zu gemeinsamen Vergleichstest-Prompts. Höhere Prozentwerte sind besser – und jeder Rang zeigt, wo dieses Modell unter den anhand dieser Quelle bewerteten Modellen liegt.

Zusammenfassung der Benchmark-Ergebnisse für Meta: Llama 3.1 8B Instruct (Artificial Analysis)
QuelleBenchmarkErgebnis
Artificial AnalysisLlama 3.1 Instruct 8B Coding Index5,4
Artificial AnalysisLlama 3.1 Instruct 8B GPQA Diamond25.9%
Artificial AnalysisLlama 3.1 Instruct 8B HLE5.3%
Artificial AnalysisLlama 3.1 Instruct 8B IFBench28.6%
Artificial AnalysisLlama 3.1 Instruct 8B τ²-Bench Telecom16.4%
Artificial AnalysisLlama 3.1 Instruct 8B AA-LCR18.0%
Artificial AnalysisLlama 3.1 Instruct 8B GDPval-AA0.0%
Artificial AnalysisLlama 3.1 Instruct 8B CritPt0.0%
Artificial AnalysisLlama 3.1 Instruct 8B LiveCodeBench11.6%
Artificial AnalysisLlama 3.1 Instruct 8B Terminal-Bench Hard0.8%
Artificial AnalysisLlama 3.1 Instruct 8B Terminal-Bench 2.11.5%
Artificial AnalysisLlama 3.1 Instruct 8B MMLU-Pro47.6%
Artificial AnalysisLlama 3.1 Instruct 8B AIME 20254.3%
Artificial AnalysisLlama 3.1 Instruct 8B AIME7.7%
Artificial AnalysisLlama 3.1 Instruct 8B MATH-50051.9%

Apps

Öffentliche Apps, die den meisten Datenverkehr an dieses Modell senden. Ein guter Anhaltspunkt dafür, wie echte Produktionsworkloads aussehen – und ein Hinweis darauf, für welche Anwendungsfälle dieses Modell am besten geeignet ist.

1.
5BToken
3.
2,44BToken
4.
1,5BToken
5.
1,22BToken
Rest von OpenRouter
3,06B
Top 5 Apps
205M

Aktivität

Token-Volumen und Anfrageaufkommen für dieses Modell im Zeitverlauf.

API

Direkt einsetzbarer Code zum Aufrufen dieses Modells. Die API von OpenRouter ist OpenAI-kompatibel – bei den meisten SDKs genügt es, die Basis-URL auszutauschen. Zwischen den Modellen ändert sich nur der unten stehende Modell-Slug.

Derzeit nicht über EU-regionales Routing verfügbar. Dokumentation zum regionsinternen Routing

Häufig gestellte Fragen

Weitere Modelle entdecken