특이값 분해(SVD)란? AI 행렬을 핵심 방향과 크기로 나누는 방법

TL;DR

특이값 분해(Singular Value Decomposition, SVD)는 행렬을 왼쪽 특이벡터, 특이값, 오른쪽 특이벡터의 세 요소로 나누는 행렬 분해입니다. 서로 직교하는 방향과 각 방향의 크기로 행렬을 풀어 보여 줍니다. 큰 특이값의 방향 몇 개만 남기면 주요 구조를 보존한 저랭크 근사를 만들 수 있어 텍스트 차원 축소, 추천, 이미지 압축과 가중치 분석에 쓰입니다. SVD는 입력을 중심화하지 않으므로 PCA와 같은 결과라고 단정하면 안 됩니다. 중심화 여부, 남길 랭크와 검증 성능을 함께 확인해야 합니다.

핵심 3줄 요약

• 핵심 1
  행렬을 방향과 크기로 나눕니다. U와 V의 특이벡터가 방향을, 가운데 특이값이 각 방향의 중요도를 나타냅니다.
• 핵심 2
  큰 특이값부터 남길 수 있습니다. 앞쪽 성분만 사용하면 더 작은 행렬로 주요 패턴을 근사하는 절단 SVD가 됩니다.
• 핵심 3
  PCA와 전처리 조건이 다릅니다. SVD는 행렬 분해이므로 자동 중심화하지 않습니다. 같은 데이터라도 중심화 여부에 따라 해석이 달라집니다.

이 글에서 다룰 내용

특이값 분해를 한 문장으로 정의하면 무엇인가요?

특이값 분해는 실수 또는 복소수 행렬 A를 U, 특이값을 대각선에 둔 Σ, V의 전치 또는 켤레전치로 나누어 A = UΣVᵀ 형태로 표현하는 방법입니다.

NumPy와 SciPy 문서에 따르면 U의 열은 왼쪽 특이벡터이고 Vᵀ의 행은 오른쪽 특이벡터입니다. Σ의 대각선에는 0 이상인 특이값이 큰 값부터 놓입니다. 행렬이 정사각형이 아니어도 적용할 수 있다는 점이 SVD의 중요한 특징입니다.

U는 행 쪽의 패턴, V는 열 쪽의 패턴을 설명하고 특이값은 두 방향의 강도를 나타냅니다. 세 요소를 모두 사용하면 원래 행렬을 다시 만들고, 앞쪽 일부만 사용하면 더 낮은 랭크로 근사합니다.

한 줄 정리: SVD는 행렬을 서로 직교하는 좌우 방향과 그 사이의 크기 값으로 풀어 쓰는 계산입니다.

쉬운 예시로 이해해 볼까요?

감자나라ai님이 독자 1,000명의 콘텐츠 반응을 분석한다고 가정해 보겠습니다. 행에는 독자를, 열에는 AI 뉴스·도구 사용법·용어 설명·보안 글 같은 콘텐츠 유형을 두고 클릭이나 체류 점수를 기록하면 1,000행 4열의 행렬이 생깁니다.

SVD는 이 행렬을 그대로 외우기보다 독자 쪽의 공통 반응 방향, 콘텐츠 유형 쪽의 공통 조합, 그리고 각 조합의 강도로 나눕니다. 첫 번째 방향은 전반적으로 AI 실용 글을 좋아하는 경향을, 두 번째 방향은 뉴스보다 기술 설명을 선호하는 차이를 담을 수 있습니다. 방향의 실제 뜻은 데이터와 함께 해석해야 하며 계산만으로 이름이 붙지는 않습니다.

특이값 네 개 가운데 앞의 두 값이 훨씬 크다면 두 방향만 남겨 반응 행렬을 근사할 수 있습니다. 데이터 크기는 줄고 작은 변화는 일부 빠집니다. 그러나 드문 독자 집단이나 이상 신호가 뒤쪽 성분에 있을 수 있어 실제 추천 품질을 따로 검사해야 합니다.

쉬운 예시: 여러 독자와 콘텐츠의 반응표를 몇 개의 공통 취향 방향으로 요약하되, 각 방향의 세기는 특이값으로 표시한다고 이해하면 됩니다.

왜 AI에서 특이값 분해가 중요한가요?

큰 행렬의 핵심 구조를 작은 랭크로 근사합니다

AI 데이터와 모델에는 행과 열이 매우 많은 행렬이 반복해서 등장합니다. SVD에서 큰 특이값에 해당하는 성분부터 남기면 원래 행렬의 주요 구조를 적은 수의 성분으로 표현할 수 있습니다. 저장 공간과 후속 계산을 줄이는 출발점이 되는 이유입니다.

희소한 텍스트 행렬의 차원을 줄일 수 있습니다

문서-단어 빈도나 TF-IDF 행렬은 열이 수만 개여도 대부분 값이 0인 희소 행렬입니다. scikit-learn의 TruncatedSVD는 입력을 중심화하지 않아 희소 구조를 유지한 채 낮은 차원으로 투영할 수 있습니다. 텍스트에서 이 방식을 잠재 의미 분석(Latent Semantic Analysis, LSA)이라고 부르기도 합니다.

비슷한 문맥의 단어와 문서가 가까운 잠재 방향에 놓일 수 있지만 의미를 완벽하게 이해한다는 뜻은 아닙니다. 토큰화, 가중치와 성분 수에 따라 결과가 달라집니다.

행렬의 수치적 성질과 모델 동작을 점검합니다

특이값의 크기 분포를 보면 정보가 몇 방향에 몰렸는지, 행렬이 거의 낮은 랭크인지, 작은 특이값 때문에 역산이 불안정할 가능성이 있는지 살필 수 있습니다. 가중치 행렬이나 특징 행렬의 조건을 진단할 때도 쓰입니다.

핵심 인사이트: SVD의 가치는 큰 행렬을 무조건 작게 만드는 데 있지 않습니다. 어떤 방향이 강한지 확인하고 필요한 성분만 선택할 근거를 준다는 데 있습니다.

특이값 분해는 어떤 순서로 작동하나요?

1. 행렬의 행과 열이 무엇을 뜻하는지 정합니다

먼저 표본을 행에 둘지 열에 둘지, 각 열의 단위와 결측값 처리를 어떻게 할지 정합니다. 사용자-상품, 문서-단어, 픽셀-색상 채널처럼 행렬의 의미가 분명해야 U와 V의 방향도 해석할 수 있습니다. NaN이나 무한대가 섞이면 구현에 따라 계산이 실패하거나 결과를 신뢰하기 어렵습니다.

2. 완전 SVD 또는 축소형 SVD를 계산합니다

완전 SVD는 가능한 모든 좌우 특이벡터를 반환합니다. 축소형 SVD는 K = min(행 수, 열 수)에 필요한 부분만 반환합니다. NumPy와 SciPy의 full_matrices 옵션으로 출력 모양을 고릅니다.

3. 특이값을 보고 남길 랭크 k를 고릅니다

특이값은 보통 큰 값부터 정렬됩니다. 누적 에너지나 설명 분산 비율, 특이값이 급격히 작아지는 지점은 k 후보를 고르는 참고 자료입니다. 그러나 정해진 비율 하나만 따르기보다 교차 검증이나 별도 검증 데이터에서 최종 과제 성능을 확인하는 편이 안전합니다.

4. 투영하거나 원래 행렬을 근사합니다

차원 축소가 목적이라면 입력을 선택한 오른쪽 특이벡터 방향으로 투영합니다. 압축과 복원이 목적이라면 선택한 U, 특이값, Vᵀ를 다시 곱해 랭크 k 행렬을 만듭니다. 원본과 근사의 차이, 저장량, 추론 속도와 과제 성능을 함께 비교합니다.

한 줄 정리: 행렬 의미 확인 → SVD 계산 → 랭크 선택 → 투영 또는 재구성 → 실제 과제 검증 순서로 진행합니다.

U·특이값·Vᵀ는 어떻게 읽나요?

U는 행 쪽의 잠재 방향을 담습니다

행이 사용자라면 U는 사용자가 각 잠재 방향과 얼마나 연결되는지 나타냅니다. 행이 이미지의 세로 위치라면 세로 방향 패턴을 담습니다. U의 열들은 서로 직교하며 축소형 결과에서는 선택된 특이값 수만큼의 열을 사용합니다.

특이값은 각 방향의 강도를 나타냅니다

특이값은 0 이상이며 큰 값부터 정렬됩니다. 큰 값은 해당 좌우 방향의 조합이 원래 행렬에서 강하다는 뜻입니다. 특이값이 0이 아닌 개수는 수치적인 판정 기준을 정했을 때 행렬의 랭크와 연결됩니다. 매우 작은 값을 0처럼 다룰지는 데이터 척도와 계산 정밀도에 따라 달라집니다.

Vᵀ는 열 쪽의 잠재 방향을 담습니다

열이 단어라면 Vᵀ의 각 행은 단어 조합으로 된 잠재 방향입니다. 열이 상품이라면 상품 쪽의 공통 반응 패턴이 됩니다. 한 특이벡터의 모든 부호를 반대로 바꾸고 짝이 되는 반대쪽 벡터의 부호도 바꾸면 같은 행렬을 만들 수 있으므로 부호 자체에 고정된 의미를 붙이면 안 됩니다.

특이값 분해와 헷갈리는 용어는 무엇이 다른가요?

PCA와 SVD의 차이

PCA는 데이터가 가장 크게 퍼진 직교 방향을 찾아 차원을 줄이는 통계 방법입니다. 일반적인 PCA는 특징별 평균을 빼서 중심화한 데이터에 SVD나 고유값 분해를 적용합니다. SVD는 주어진 행렬을 분해하는 계산이므로 입력 평균을 자동으로 빼지 않습니다.

중심화한 데이터 행렬에 SVD를 적용하면 오른쪽 특이벡터가 PCA의 주성분 방향과 연결되고 특이값의 제곱은 분산과 연결됩니다. 원본 행렬에 그대로 SVD를 적용한 결과를 PCA라고 부르면 중심화 조건을 놓치게 됩니다.

고유값 분해와 SVD의 차이

고유값 분해는 보통 정사각 행렬을 고유벡터와 고유값으로 나눕니다. SVD는 직사각형 행렬에도 적용하며 왼쪽과 오른쪽에 서로 다른 특이벡터를 둡니다. 실수 행렬의 특이값 제곱은 AᵀA 또는 AAᵀ의 고유값과 연결됩니다.

절단 SVD와 완전 SVD의 차이

완전 SVD는 모든 성분을 계산하고 절단 SVD는 큰 특이값에 대응하는 앞쪽 k개 성분만 구하거나 보존합니다. scikit-learn의 TruncatedSVD는 중심화하지 않아 희소 문서-단어 행렬에 직접 적용하기 좋습니다. 이 구현은 무작위 알고리즘이나 ARPACK 방식을 선택할 수 있습니다.

NMF와 SVD의 차이

비음수 행렬 분해(Non-negative Matrix Factorization, NMF)는 입력과 요인이 0 이상이라는 조건 아래 행렬을 두 개의 비음수 행렬로 근사합니다. 부분의 덧셈처럼 해석하기 쉬운 결과를 얻을 때가 있지만 SVD처럼 직교 방향과 정렬된 특이값을 제공하지 않습니다. 음수가 있는 입력에는 그대로 적용할 수 없습니다.

데이터 백색화와 SVD의 차이

데이터 백색화는 성분 사이 상관을 줄이고 분산을 1에 가깝게 맞추는 변환입니다. SVD나 PCA의 방향을 활용할 수 있지만 특이값으로 나누는 추가 스케일 조정이 필요합니다. SVD를 계산했다는 사실만으로 데이터가 백색화되지는 않습니다.

비교 정리: SVD는 행렬 분해, PCA는 중심화된 데이터의 분산 방향 탐색, 절단 SVD는 일부 성분만 쓰는 근사, NMF는 비음수 요인 분해, 백색화는 상관과 분산을 조정하는 변환입니다.

실전에서는 어디에 쓰이나요?

텍스트의 잠재 의미 분석

문서-단어 빈도나 TF-IDF 행렬에 절단 SVD를 적용해 수만 개 단어 축을 수백 개 안팎의 잠재 축으로 줄입니다. 검색, 문서 군집화, 분류의 입력을 만드는 데 쓸 수 있습니다. 희소 행렬을 중심화하면 0이 아닌 값이 크게 늘 수 있으므로 사용한 구현의 중심화 여부를 반드시 기록합니다.

추천 시스템의 저랭크 근사

사용자-상품 반응 행렬을 낮은 랭크로 근사하면 사용자와 상품을 같은 잠재 공간에 놓을 수 있습니다. 그러나 추천 데이터는 빈칸과 노출 편향이 많습니다. 결측을 0으로 채운 SVD가 모든 추천 문제의 정답은 아닙니다.

이미지와 신호 압축·잡음 완화

이미지를 채널별 행렬로 보고 큰 특이값 성분만 남기면 저장해야 할 값의 수를 줄이면서 주요 형태를 근사할 수 있습니다. 작은 성분을 없애면 잡음이 줄어들 때도 있지만 가는 선, 작은 글자, 희귀 패턴도 함께 사라질 수 있습니다. 화질과 후속 인식 성능을 모두 확인해야 합니다.

모델 가중치의 저랭크 압축

큰 선형층의 가중치를 두 개의 저랭크 행렬로 근사하면 매개변수와 계산량을 줄일 수 있습니다. 층과 랭크에 따라 정확도 손실이 달라지므로 실제 추론 지표를 확인합니다. 파인튜닝 기법인 LoRA와 같은 개념으로 취급하지 않습니다.

실전 팁: SVD를 적용하기 전에 원본 품질, 메모리, 속도, 저장량을 측정하고 같은 검증 데이터에서 랭크별 결과를 비교하세요.

특이값 분해를 적용할 때 무엇을 확인하나요?

1. 행과 열의 의미·단위를 기록합니다

표본과 특징의 방향, 각 열의 단위, 결측값과 이상치 처리 방식을 문서화합니다. 한 열의 숫자 범위가 지나치게 크면 그 열이 앞쪽 특이벡터를 지배할 수 있습니다. 스케일링 여부는 모델과 데이터 의미에 맞춰 정합니다.

2. 중심화와 희소성 조건을 구분합니다

PCA 목적이라면 훈련 데이터 평균으로 중심화하는 과정이 필요합니다. 희소 텍스트 행렬에서는 중심화가 행렬을 조밀하게 만들어 메모리를 크게 늘릴 수 있어 TruncatedSVD처럼 중심화하지 않는 방법을 사용합니다. 두 결과는 같은 이름으로 섞어 비교하지 않습니다.

3. 랭크 k를 검증 데이터로 고릅니다

특이값 누적 비율만 보고 k를 확정하지 않습니다. k를 여러 값으로 바꿔 재구성 오차, 분류·검색·추천 품질, 메모리와 처리 시간을 측정합니다. 훈련 데이터에서 가장 좋아 보인 값이 새 데이터에서도 같은 결과를 내는지 확인합니다.

4. 계산기와 난수 설정을 남깁니다

NumPy·SciPy의 정확 SVD, scikit-learn의 무작위 SVD, ARPACK 기반 계산은 옵션과 속성값이 다릅니다. 무작위 방식은 random_state 같은 난수 설정을 고정하고 반복 횟수와 허용 오차를 기록해야 재현하기 쉽습니다.

5. 원본과 근사 결과를 함께 보관합니다

전처리 통계, 특이벡터, 특이값, 랭크, 라이브러리 버전과 평가 결과를 남깁니다. 새 데이터에는 훈련 단계에서 얻은 방향을 재사용해야 합니다. 평가 데이터로 다시 분해하면 비교 기준이 흔들립니다.

체크리스트: 행렬 의미 → 중심화·스케일링 → 계산 방식 → 랭크 후보 → 검증 성능 → 재현 정보 순서로 기록하면 실험을 다시 확인하기 쉽습니다.

사용할 때 무엇을 주의해야 하나요?

첫째, SVD와 PCA를 같은 말로 쓰지 않습니다. PCA는 보통 중심화한 데이터의 분산 방향을 찾습니다. 중심화하지 않은 원본 행렬의 SVD는 다른 구조를 반영할 수 있습니다.

둘째, 큰 특이값만 보고 중요한 정보를 모두 보존했다고 단정하지 않습니다. 작은 성분에 희귀 클래스, 이상 징후, 가는 이미지 경계가 들어 있을 수 있습니다. 최종 과제 지표와 집단별 성능을 확인합니다.

셋째, 큰 희소 행렬을 무심코 조밀한 배열로 바꾸지 않습니다. 메모리가 급격히 늘어 계산이 중단될 수 있습니다. 희소 입력을 지원하는 절단 SVD 구현과 필요한 성분 수를 먼저 검토합니다.

넷째, 특이벡터의 부호와 개별 방향을 절대적인 의미로 고정하지 않습니다. 부호는 뒤집힐 수 있고 반복되거나 가까운 특이값에서는 방향이 회전할 수 있습니다. 실행 간 비교에는 부분공간, 재구성 결과와 과제 성능을 함께 사용합니다.

다섯째, 수치 정밀도와 수렴 오류를 확인합니다. NumPy와 SciPy 문서는 SVD 계산이 수렴하지 않으면 LinAlgError가 날 수 있다고 안내합니다. NaN·무한대, 지나치게 나쁜 스케일과 정밀도 설정을 점검하고 실패를 조용히 무시하지 않습니다.

주의: SVD는 데이터에 들어 있는 구조를 분해할 뿐 편향, 개인정보, 잘못된 라벨을 고치지 않습니다. 압축 전후의 품질과 안전 조건을 별도로 검증해야 합니다.

자주 묻는 질문

Q1. SVD는 정사각 행렬에만 사용할 수 있나요?

아닙니다. 행 수와 열 수가 다른 직사각형 행렬에도 적용할 수 있습니다. U와 Vᵀ의 모양은 완전형인지 축소형인지에 따라 달라지며 특이값 개수의 기준은 K = min(행 수, 열 수)입니다.

Q2. 특이값이 크면 그 성분은 항상 AI 예측에 중요한가요?

항상 그렇지는 않습니다. 큰 특이값은 입력 행렬에서 강한 구조를 뜻하지만 정답 예측에 유용하다는 보장은 아닙니다. 랭크를 바꿔 검증 데이터의 과제 성능을 비교해야 합니다.

Q3. SVD를 하면 데이터가 자동으로 표준화되나요?

아닙니다. SVD는 입력 행렬을 분해합니다. 특징별 평균을 빼거나 표준편차로 나누는 전처리는 자동으로 수행하지 않습니다. 사용하는 라이브러리와 파이프라인에서 중심화·스케일링 단계를 따로 확인하세요.

Q4. 완전 SVD와 절단 SVD 중 무엇을 써야 하나요?

모든 성분과 정확한 재구성이 필요하고 행렬이 감당할 만하면 완전 SVD를 사용할 수 있습니다. 큰 행렬에서 앞쪽 성분 몇 개만 필요하거나 희소 텍스트 행렬을 다룬다면 절단 SVD가 실용적입니다. 속도와 근사 오차를 함께 측정하세요.

Q5. SVD 결과가 실행할 때마다 달라질 수 있나요?

정확 SVD에서도 특이벡터 부호가 달라질 수 있고 반복 특이값에서는 개별 벡터 방향이 유일하지 않을 수 있습니다. 무작위 SVD는 난수 시드와 반복 설정에도 영향을 받습니다. 재구성 값과 부분공간, 최종 과제 성능으로 비교하는 편이 안전합니다.

출처

마무리

특이값 분해는 행렬을 왼쪽 특이벡터, 특이값, 오른쪽 특이벡터로 나누는 기본 계산입니다. 큰 특이값에 해당하는 방향을 남기면 텍스트, 추천, 이미지와 모델 가중치처럼 큰 행렬의 주요 구조를 더 낮은 랭크로 근사할 수 있습니다.

처음 적용한다면 세 가지를 기억하세요. SVD는 자동으로 중심화하지 않고, 큰 특이값이 최종 과제의 중요도와 언제나 같지는 않으며, 랭크는 검증 결과로 정해야 합니다. 행과 열의 의미부터 적고 중심화·희소성·계산 방식·재현 설정을 남기면 PCA나 절단 SVD와 혼동하지 않고 결과를 읽을 수 있습니다.