
Meta: Llama 3.1 8B Instruct (nitro)
meta-llama/llama-3.1-8b-instruct:nitro
ModellgewichteMeta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.
It has demonstrated strong performance compared to leading closed-source models in human evaluations.
To read more about the model release, click hereOpens in new tab. Usage of this model is subject to Meta's Acceptable Use PolicyOpens in new tab.
Anbieter
Verschiedene Unternehmen hosten dasselbe Modell. OpenRouter leitet Ihre Anfrage je nach gewähltem Routing-Modus an eines davon weiter: Ausgewogen (Preis + Geschwindigkeit), Nitro (am schnellsten) oder Floor (am günstigsten).
| Anbieter | Eingabe /M | Ausgabe /M | Cache-Lesezugriff /M | Latenz | Durchsatz | Verfügbarkeit |
|---|---|---|---|---|---|---|
| 0,050 $ | 0,080 $ | 0,025 $ | 0,24s | 636 tok/s | ||
| 0,220 $ | 0,220 $ | 0,220 $ | 0,40s | 136 tok/s | ||
| 0,020 $ | 0,040 $ | -- | 0,72s | 19 tok/s | ||
| 0,152 $ | 0,287 $ | -- | 0,46s | 17 tok/s |
- Eingabe 0,05 $ / Ausgabe 0,08 $636 tok/s99,03 % Verfügbarkeit
- Eingabe 0,22 $ / Ausgabe 0,22 $136 tok/s98,01 % Verfügbarkeit
Eingabe 0,02 $ / Ausgabe 0,04 $19 tok/s100,00 % Verfügbarkeit- Eingabe 0,152 $ / Ausgabe 0,287 $17 tok/s98,29 % Verfügbarkeit
Preise
Der durchschnittliche Preis, den Kunden tatsächlich für dieses Modell zahlen, neben den von Anbietern veröffentlichten Preisen. Durch Caching und Rabatte liegt der tatsächlich gezahlte Preis oft deutlich unter dem Listenpreis.
Gewichteter Durchschnitt
Llama 3.1 8B Instruct — Preisverlauf
| 0,0194 $ | 0,0375 $ | 0,0 % | 37,5 % | ||
| 0,0398 $ | 0,0794 $ | 38,4 % | 19,4 % | ||
| 0,1512 $ | 0,2823 $ | 0,0 % | 0,7 % | ||
| 0,2194 $ | 0,2187 $ | 60,1 % | 42,4 % |
- Wirksam in 0,0194 $ / Effektive Ausgabekosten 0,0375 $Token-Anteil37,5 %
- Wirksam in 0,0398 $ / Effektive Ausgabekosten 0,0794 $Token-Anteil19,4 %
- Wirksam in 0,1512 $ / Effektive Ausgabekosten 0,2823 $Token-Anteil0,7 %
- Wirksam in 0,2194 $ / Effektive Ausgabekosten 0,2187 $Token-Anteil42,4 %
Leistung
Der Durchsatz gibt an, wie schnell das Modell schreibt (Token pro Sekunde – höher ist besser). Die Latenz ist die gesamte Umlaufzeit (niedriger ist besser). TTFT ist die Zeit bis zum ersten Token – also die Wartezeit, bis etwas angezeigt wird (niedriger ist besser).
P50, bester Wert über alle Anbieter hinweg
P50, bester Anbieter
Verfügbarkeit
Verfügbarkeit ist der prozentuale Anteil der letzten 3 Tage, in dem mindestens ein Anbieter auf Anfragen reagiert hat. Die Verfügbarkeit der Inferenz ist der prozentuale Anteil der Zeit, in der Inferenz erfolgreich bereitgestellt wurde. OpenRouter überwacht dies kontinuierlich und verwendet den nächstbesten Anbieter, wenn ein Anbieter einen Fehler zurückgibt.
Verfügbarkeit in den letzten 3 Tagen
Letzte 72 StundenVerfügbarkeit in den letzten 24 Stunden
Wenn bei einem vorgelagerten Anbieter ein Fehler auftritt, können wir diesen durch die Weiterleitung an einen anderen funktionsfähigen Anbieter beheben, sofern Ihre Anfragefilter dies zulassen. Sie können programmgesteuert auf die Verfügbarkeitsdaten pro Anbieter zugreifen, und zwar über die Endpunkt-API. Erfahren Sie mehr über unsere Optionen für Lastverteilung und Anbieter-Routing.
Leistungsvergleiche
Ergebnisse standardisierter Bewertungen und eigene Ausgaben dieses Modells zu gemeinsamen Vergleichstest-Prompts. Höhere Prozentwerte sind besser – und jeder Rang zeigt, wo dieses Modell unter den anhand dieser Quelle bewerteten Modellen liegt.
| Quelle | Benchmark | Ergebnis |
|---|---|---|
| Artificial Analysis | Llama 3.1 Instruct 8B Coding Index | 5,4 |
| Artificial Analysis | Llama 3.1 Instruct 8B GPQA Diamond | 25.9% |
| Artificial Analysis | Llama 3.1 Instruct 8B HLE | 5.3% |
| Artificial Analysis | Llama 3.1 Instruct 8B IFBench | 28.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B τ²-Bench Telecom | 16.4% |
| Artificial Analysis | Llama 3.1 Instruct 8B AA-LCR | 18.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B GDPval-AA | 0.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B CritPt | 0.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B LiveCodeBench | 11.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B Terminal-Bench Hard | 0.8% |
| Artificial Analysis | Llama 3.1 Instruct 8B Terminal-Bench 2.1 | 1.5% |
| Artificial Analysis | Llama 3.1 Instruct 8B MMLU-Pro | 47.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B AIME 2025 | 4.3% |
| Artificial Analysis | Llama 3.1 Instruct 8B AIME | 7.7% |
| Artificial Analysis | Llama 3.1 Instruct 8B MATH-500 | 51.9% |
Apps
Öffentliche Apps, die den meisten Datenverkehr an dieses Modell senden. Ein guter Anhaltspunkt dafür, wie echte Produktionsworkloads aussehen – und ein Hinweis darauf, für welche Anwendungsfälle dieses Modell am besten geeignet ist.
Aktivität
Token-Volumen und Anfrageaufkommen für dieses Modell im Zeitverlauf.
API
Direkt einsetzbarer Code zum Aufrufen dieses Modells. Die API von OpenRouter ist OpenAI-kompatibel – bei den meisten SDKs genügt es, die Basis-URL auszutauschen. Zwischen den Modellen ändert sich nur der unten stehende Modell-Slug.
Derzeit nicht über EU-regionales Routing verfügbar. Dokumentation zum regionsinternen Routing
Häufig gestellte Fragen
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient. It has demonstrated strong performance compared to leading closed-source models in human evaluations. To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.
Llama 3.1 8B Instruct kostet 0,02 $/M Eingabe-Token und 0,04 $/M Ausgabe-Token.
Llama 3.1 8B Instruct hat ein Kontextfenster von 131.072 Token. Es unterstützt bis zu 16.384 Completion-Token.
Ja. Llama 3.1 8B Instruct akzeptiert tools und tool_choice für Funktionsaufrufe bei 2 der 4 Anbieter, die es bereitstellen, und Anfragen, die Tools senden, werden an diese Anbieter weitergeleitet. Es unterstützt auch strukturierte Ausgaben über ein JSON-Schema in response_format.
Llama 3.1 8B Instruct wird auf OpenRouter von 4 Anbietern bereitgestellt: DeepInfra, Groq, Cloudflare und CoreWeave. Anfragen werden an den besten verfügbaren Anbieter weitergeleitet, mit automatischem Failover zu den anderen Anbietern, und Sie können Anbieter über Anbieter-Routing festlegen oder ausschließen.
Llama 3.1 8B Instruct wurde am 23. Juli 2024 veröffentlicht. Der Wissensstand reicht bis zum 31. Dezember 2023.