HDBSCAN이란? AI에서 밀도가 다른 군집을 계층 구조로 찾아내는 방법
HDBSCAN은 데이터의 밀도 구조를 계층적으로 분석해 오래 유지되는 군집을 고르는 방법입니다. DBSCAN·OPTICS·계층적 클러스터링과의 차이, 최소 군집 크기와 핵심 표본 수, 노이즈와 군집 안정성을 읽는 법을 설명합니다.
HDBSCAN은 데이터의 밀도 구조를 계층적으로 분석해 오래 유지되는 군집을 고르는 방법입니다. DBSCAN·OPTICS·계층적 클러스터링과의 차이, 최소 군집 크기와 핵심 표본 수, 노이즈와 군집 안정성을 읽는 법을 설명합니다.
스칼라 양자화(SQ)는 검색용 임베딩 벡터의 각 숫자를 더 짧은 코드로 바꾸는 압축 기법입니다. SQ8과 곱 양자화(PQ)의 차이, 인덱스와 재점수화의 역할, 압축 후 검색 재현율·속도·전체 저장 공간을 확인하는 방법을 설명합니다.
곱 양자화(PQ)는 임베딩 벡터를 부분 벡터로 나누고 각 부분의 대표값 번호를 짧은 코드로 저장하는 압축 기법입니다. IndexPQ와 IndexIVFPQ, IVFFlat 및 모델 가중치 양자화의 차이와 정확 검색 대비 재현율·메모리 점검법을 설명합니다.
IVFFlat은 벡터를 대표점별 목록에 나눈 뒤 질문과 가까운 일부 목록의 원본 벡터를 비교하는 근사 검색 인덱스입니다. nlist·nprobe와 pgvector의 lists·probes, 정확 검색·HNSW·IVFPQ와의 차이 및 RAG 검색의 재현율·필터 점검법을 설명합니다.
HNSW는 가까운 벡터를 여러 층의 그래프로 연결해 검색 후보를 좁히는 근사 최근접 이웃 인덱스입니다. 계층 탐색과 m·ef_construction·ef_search의 역할, 정확 검색·ANN·IVFFlat과의 차이, RAG 검색에서 재현율과 메모리를 확인하는 방법을 설명합니다.
상호 순위 융합(RRF)은 여러 검색 결과 목록의 문서 순위를 역수로 바꿔 더한 뒤 하나의 순위를 만드는 방법입니다. 계산 원리와 k·후보 창의 역할, 하이브리드 검색·점수 정규화·리랭킹과의 차이, RAG 검색에서 확인할 주의점을 설명합니다.
BM25는 단어의 희소성·반복 출현·문서 길이를 반영해 검색 순위를 매기는 방법입니다. k1·b와 빈도 포화의 뜻, TF-IDF·벡터 검색·리랭킹과의 차이, 한국어 분석기·청킹·검색 점수의 주의점을 설명합니다.
TF-IDF는 문서 안의 단어 빈도와 문서 모음에서의 희소성을 결합한 가중치입니다. TF·DF·IDF와 평활화·정규화의 뜻, 특징 해싱·임베딩과의 차이, 한국어 토큰화와 데이터 누수의 주의점을 설명합니다.
헝가리안 알고리즘은 일대일 제약을 지키며 전체 비용이 가장 작은 배정을 찾는 방법입니다. 비용 행렬·미배정·직사각형 할당의 뜻, 객체 추적·칼만 필터·NMS와의 차이, 구현과 최적성 해석의 주의점을 설명합니다.
동적 시간 워핑은 속도가 다른 두 시계열의 대응 경로를 찾아 비교하는 방법입니다. 누적 비용·워핑 창·점수 계산의 뜻, 시계열 예측·CTC·부분 시퀀스 DTW와의 차이, 전처리와 과도한 정렬의 주의점을 설명합니다.