Llama 3.1 70B Instruct
Meta🇺🇸
meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct is Meta's open-weight instruction-tuned model, offering strong general reasoning, chat, and coding performance with a 128K context window. It is a popular, well-balanced choice for self-hosted deployments needing near-frontier quality at open-weight cost.
费用比率
0.1x
上下文
131K
发布日期
2024年7月23日
输入
Text
输出
Text
支持
推理工具调用结构化输出
最擅长
该模型排名最高的类别。
法律与政府
#258 · 前 67%
医学与医疗保健
#273 · 前 71%
生命科学、自然科学与社会科学
#277 · 前 67%
数学
#278 · 前 71%
性能
根据近期请求测得的中位延迟和吞吐量。
吞吐量41 tok/s
延迟1.92s