Llama 3.1 70B Instruct is Meta's open-weight instruction-tuned model, offering strong general reasoning, chat, and coding performance with a 128K context window. It is a popular, well-balanced choice for self-hosted deployments needing near-frontier quality at open-weight cost.
Tarifa de coste
0.2x
Contexto
131K
Lanzamiento
23 jul 2024
Entrada
Text
Salida
Text
Compatibilidad
RazonamientoLlamada a herramientasSalidas estructuradas
En qué destaca
Las categorías en las que este modelo obtiene la mejor clasificación.
Legal y gobierno
#265 · top 67%
Medicina y salud
#280 · top 72%
Ciencias de la vida, físicas y sociales
#285 · top 68%
Entretenimiento, deportes y medios
#287 · top 68%
Rendimiento
Latencia y rendimiento medianos medidos en solicitudes recientes.
Rendimiento20 tok/s
Latencia2.22s