Llama 3.1 8B Instruct is Meta's small open-weight instruction-tuned model, designed for fast, low-cost chat and general text tasks with a 128K context window. It suits lightweight applications and resource-constrained self-hosted deployments.
비용 비율
0.1x
컨텍스트
131K
출시일
2024년 7월 23일
입력
Text
출력
Text
지원
추론도구 호출구조화된 출력
강점 분야
이 모델이 가장 높은 순위를 차지하는 카테고리입니다.
의료 및 헬스케어
#332 · 상위 85%
법률 및 행정
#333 · 상위 85%
소프트웨어 및 IT 서비스
#340 · 상위 81%
비즈니스, 경영 및 금융
#340 · 상위 83%
성능
최근 요청 전반에서 측정한 중앙 지연 시간과 처리량입니다.
처리량141 tok/s
지연 시간0.88s