Favicon de baidu

Baidu: ERNIE 4.5 21B A3B

baidu/ernie-4.5-21b-a3b

Pesos del modelo

A sophisticated text-based Mixture-of-Experts (MoE) model featuring 21B total parameters with 3B activated per token, delivering exceptional multimodal understanding and generation through heterogeneous MoE structures and modality-isolated routing. Supporting an extensive 131K token context length, the model achieves efficient inference via multi-expert parallel collaboration and quantization, while advanced post-training techniques including SFT, DPO, and UPO ensure optimized performance across diverse applications with specialized routing and balancing losses for superior task handling.

Modalidades
Contexto
131K
Publicado
12 ago 2025
Fecha límite de conocimiento
mar 2025

Actividad

Volumen de tokens y tráfico de solicitudes a este modelo a lo largo del tiempo.

Actualmente no está disponible mediante el enrutamiento dentro de la región de la UE. Documentación de enrutamiento dentro de la región

Preguntas frecuentes