KV 캐시(Key-Value Cache)란? LLM이 앞선 토큰 계산을 다시 쓰는 방법
KV 캐시는 LLM이 앞서 처리한 토큰의 어텐션 Key와 Value를 저장해 다음 토큰 생성 때 다시 쓰는 추론용 메모리입니다. 생성 속도와 메모리의 관계, 프롬프트 캐싱·시맨틱 캐시와 차이를 쉽게 설명합니다.
HBM(고대역폭 메모리)이란? AI 가속기에 데이터를 빠르게 공급하는 메모리
HBM은 여러 개의 D램 다이를 수직으로 쌓고 넓은 병렬 연결로 프로세서 가까이에서 많은 데이터를 주고받도록 만든 고대역폭 메모리입니다. VRAM·RAM·GDDR·메모리 용량과 대역폭의 차이, AI 가속기에서 중요한 이유를 쉽게 설명합니다.
