처리량(Throughput)이란? AI가 일정 시간에 처리하는 작업량
처리량은 AI 시스템이 일정 시간 동안 처리하는 요청이나 토큰의 전체 양입니다. 레이턴시·동시성·레이트 리밋·배치 처리와의 차이, 측정 단위와 실전 점검법을 설명합니다.
레이턴시(Latency)란? AI 응답 속도를 이해하는 기본 용어
레이턴시는 사용자가 AI에 요청을 보낸 뒤 의미 있는 응답을 받기까지 걸리는 지연 시간입니다.
감자나라ai
챗GPT 사용법 및 프롬프트 엔지니어 정보 제공
