스트리밍(Streaming)이란? AI 답변을 조금씩 받는 방식
스트리밍은 AI가 답변을 모두 만든 뒤 한꺼번에 보내는 대신 생성되는 내용을 작은 조각으로 순서대로 보내는 응답 방식입니다. 레이턴시, 배치 처리, 실시간 처리, Server-Sent Events와의 차이를 초보자 눈높이로 정리했습니다.
스트리밍은 AI가 답변을 모두 만든 뒤 한꺼번에 보내는 대신 생성되는 내용을 작은 조각으로 순서대로 보내는 응답 방식입니다. 레이턴시, 배치 처리, 실시간 처리, Server-Sent Events와의 차이를 초보자 눈높이로 정리했습니다.
레이턴시는 사용자가 AI에 요청을 보낸 뒤 의미 있는 응답을 받기까지 걸리는 지연 시간입니다.