로드 밸런싱(Load Balancing)이란? AI 요청을 여러 서버에 나누는 방법 GlossaryBy 감자2026년 8월 3일로드 밸런싱은 들어오는 AI 요청을 여러 서버나 모델 인스턴스에 나눠 보내는 운영 방식입니다. 모델 라우팅·오토스케일링·AI 게이트웨이와의 차이, 상태 확인과 세션 관리 등 실전 주의점을 설명합니다.
