Llama 3.1 8B Instruct is Meta's small open-weight instruction-tuned model, designed for fast, low-cost chat and general text tasks with a 128K context window. It suits lightweight applications and resource-constrained self-hosted deployments.
费用比率
0.1x
上下文
131K
发布日期
2024年7月23日
输入
Text
输出
Text
支持
推理工具调用结构化输出
最擅长
该模型排名最高的类别。
医学与医疗保健
#333 · 前 85%
法律与政府
#334 · 前 85%
软件与信息技术服务
#342 · 前 81%
商业、管理与金融
#342 · 前 83%
性能
根据近期请求测得的中位延迟和吞吐量。
吞吐量141 tok/s
延迟0.86s