특징 해싱(Feature Hashing)이란? AI 범주와 단어를 고정 길이 벡터로 바꾸는 방법
특징 해싱은 범주명이나 단어에 해시 함수를 적용해 미리 정한 수의 벡터 칸으로 바꾸는 전처리입니다. 원-핫 인코딩·단어 사전·LSH와의 차이, 해시 충돌·차원 수·재현성 점검법을 쉽게 설명합니다.
특징 해싱은 범주명이나 단어에 해시 함수를 적용해 미리 정한 수의 벡터 칸으로 바꾸는 전처리입니다. 원-핫 인코딩·단어 사전·LSH와의 차이, 해시 충돌·차원 수·재현성 점검법을 쉽게 설명합니다.
데이터 백색화는 여러 특징의 공분산을 이용해 서로 상관없는 단위 분산 성분으로 바꾸는 선형 전처리입니다. 표준화·PCA·배치 정규화와의 차이, PCA·ZCA 백색화의 원리, 작은 고윳값·데이터 누수 점검법을 쉽게 설명합니다.
분위수 변환은 학습 데이터의 순위와 경험적 누적분포를 이용해 수치 특징을 균등분포나 정규분포에 대응시키는 비모수 전처리입니다. 파워 변환·로버스트 스케일링과의 차이, 분위수 수·범위 밖 값·데이터 누수 점검법을 쉽게 설명합니다.
파워 변환은 수치 특징에 Yeo-Johnson 또는 Box-Cox 같은 비선형 함수를 적용해 분포의 왜도를 줄이고 분산을 안정시키는 전처리입니다. 표준화·로그·분위수 변환과의 차이, 람다·양수 조건·데이터 누수 점검법을 쉽게 설명합니다.
최대 절댓값 스케일링은 각 특징을 학습 데이터의 최대 절댓값으로 나눠 가장 큰 절댓값을 1로 맞추는 전처리입니다. 최소-최대·표준화·로버스트·L1·L2 정규화와의 차이, 희소 데이터·이상치·범위 밖 입력 점검법을 쉽게 설명합니다.
로버스트 스케일링은 학습 데이터의 중앙값을 빼고 사분위수 범위(IQR)로 나눠 이상치가 특징 척도에 미치는 영향을 줄이는 전처리입니다. 표준화·최소-최대·분위수 변환과의 차이, 데이터 누수·희소 행렬·분위수 설정 점검법을 쉽게 설명합니다.
표준화는 학습 데이터의 특징별 평균을 빼고 표준편차로 나눠 값의 중심과 척도를 맞추는 전처리입니다. 최소-최대·L1·L2·로버스트 스케일링과의 차이, 데이터 누수·이상치·희소 행렬·분산 0 특징 점검법을 쉽게 설명합니다.
최소-최대 스케일링은 특징별 최솟값과 최댓값을 이용해 숫자를 0과 1 같은 정해진 범위로 옮기는 전처리입니다. L1·L2 정규화와 표준화의 차이, 이상치·데이터 누수·범위 밖 입력·상수 특징 점검법을 쉽게 설명합니다.
L1 정규화는 벡터 성분의 절댓값 합으로 각 값을 나눠 전체 절댓값 합을 1로 맞추는 연산입니다. L2 정규화·L1 규제·확률 정규화와의 차이, 축과 영벡터 처리, 희소 데이터와 모델 변환 점검법을 쉽게 설명합니다.
L2 정규화는 벡터를 유클리드 노름으로 나눠 길이를 1로 맞추는 연산입니다. L1 정규화·표준화·레이어 정규화·L2 규제와의 차이, 축과 엡실론 설정, 임베딩 검색과 모델 변환 점검법을 쉽게 설명합니다.