IVFFlat이란? AI에서 벡터를 목록으로 나눠 가까운 후보를 찾는 방법

TL;DR

IVFFlat은 벡터를 학습한 대표점에 따라 여러 역파일 목록에 나누어 담고, 질의와 가까운 일부 목록에서만 이웃을 찾는 근사 검색 인덱스입니다. 목록 수와 탐색할 목록 수가 검색 속도·재현율을 바꿉니다. Flat이라는 이름은 선택한 목록 안에서 원본 벡터를 거리로 비교한다는 뜻이지, 전체 데이터에서 항상 정확한 이웃을 찾는다는 보장은 아닙니다.

핵심 3줄 요약

• 핵심 1
  먼저 목록을 학습합니다. 벡터와 비슷한 대표점을 만들고 각 벡터를 해당 목록에 저장합니다.
• 핵심 2
  가까운 목록만 훑습니다. 질의 때 목록 일부를 열어 원본 벡터와 거리를 비교합니다.
• 핵심 3
  정확도는 설정과 데이터에 달렸습니다. 덜 살피면 빨라질 수 있지만 진짜 이웃을 놓칠 수도 있습니다.

이 글에서 다룰 내용

IVFFlat을 한 문장으로 정의하면 무엇인가요?

IVFFlat은 벡터 공간을 여러 대표점 주변 목록으로 나눈 뒤, 질의와 가까운 일부 목록의 원본 벡터만 비교하는 역파일 기반 근사 최근접 이웃 인덱스입니다.

Faiss 문서는 IndexIVFFlat을 역파일과 Flat 방식의 거리 비교를 결합한 인덱스로 소개합니다. 먼저 벡터를 어느 목록에 넣을지 결정할 대표점이 필요합니다. 검색할 때 모든 벡터를 훑는 대신 대표점을 보고 열어 볼 목록을 고릅니다.

역파일은 벡터 ID와 표현을 목록에 모아 둔 구조입니다. Faiss는 선택한 목록의 벡터와 질의 사이의 거리를 계산하지만 다른 목록에 있는 전역 최근접 이웃은 놓칠 수 있습니다.

IVF는 목록으로 후보를 줄이는 구조입니다. Flat은 그 목록의 원본 벡터를 비교한다는 뜻입니다. IVFFlat은 생성형 AI 모델이 아니라 임베딩 검색용 인덱스입니다.

한 줄 정리: IVFFlat은 대표점으로 벡터의 목록을 만든 뒤 일부 목록만 열어 후보를 비교하는 검색 인덱스입니다.

쉬운 예시로 이해해 볼까요?

감자나라ai님이 여러 문서의 임베딩을 보관하고 비슷한 문서를 찾아 AI 답변에 붙인다고 가정해 보겠습니다. 책을 책장 여러 칸에 주제별로 나누어 두고, 질문과 가까운 칸부터 펼쳐 보는 상황과 비슷합니다.

인덱스를 만들 때 문서 벡터의 분포를 보고 대표점을 학습합니다. 각 문서 벡터는 가까운 대표점의 목록에 들어갑니다. 질문 벡터가 들어오면 대표점들을 비교해 가까운 목록을 고르고, 그 목록의 문서 벡터를 실제 거리로 다시 비교해 결과를 돌려줍니다.

두 주제의 경계에 있는 문서는 질문과 가장 비슷해도 선택한 목록 밖에 남을 수 있습니다. 목록을 더 열면 후보를 발견할 기회와 비교량이 함께 늘어납니다. 실제 품질은 정확 검색 결과와 비교합니다.

쉬운 예시: 먼저 펼칠 책장 칸을 고르는 일은 대표점 탐색, 그 칸에서 책을 비교하는 일은 선택한 목록 안의 거리 계산에 해당합니다.

왜 AI에서 IVFFlat이 중요한가요?

큰 임베딩 모음에서 후보를 줄입니다

문서나 이미지의 임베딩이 많아지면 질의마다 모든 벡터와 거리를 계산하는 작업이 부담스럽습니다. Faiss의 설명처럼 IVF는 일부 목록만 조사해 비교 대상을 줄입니다. 이렇게 꺼낸 후보는 RAG의 문서 검색이나 유사 이미지 검색의 첫 단계로 쓸 수 있습니다.

대표점을 찾는 비용과 목록별 벡터 수도 속도에 영향을 줍니다. 정확 검색과 같은 데이터로 비교해야 합니다.

압축 손실과 후보 누락을 구분하기 쉽습니다

Faiss FAQ는 IVFFlat과 IVFPQ를 비교해 압축으로 생긴 거리 오차와 일부 목록만 보는 데서 생긴 누락을 나누어 살펴보라고 안내합니다. IVFFlat은 선택한 목록 안의 원본 벡터를 비교하므로 검색 오차의 핵심은 그 밖의 목록에 있던 진짜 이웃을 못 보는 데 있습니다.

결과가 나쁘면 탐색 폭부터 확인하고 저장 용량이 부족할 때 PQ 방식도 비교합니다.

검색 계층의 역할을 분명하게 만듭니다

IVFFlat은 가장 가까운 벡터 후보를 빠르게 구하는 수단이지, 찾아온 문서가 질문에 실제로 답하는지 판별하는 도구는 아닙니다. 검색 뒤에는 문서 내용, 권한, 최신성, 출처를 따로 확인해야 합니다.

RAG 평가에서는 정답 근거가 검색 후보에 포함됐는지 먼저 보고 리랭킹과 생성 단계는 별도로 평가합니다.

핵심 인사이트: IVFFlat은 모든 벡터를 읽는 비용을 줄이는 선택지입니다. 저장 방식, 후보 누락, 후속 문서 평가를 서로 다른 문제로 나눠 봐야 합니다.

IVFFlat은 어떤 순서로 작동하나요?

1. 대표점으로 목록을 학습합니다

Faiss의 IndexIVFFlat은 벡터 분포를 대표하는 중심을 학습하는 단계가 필요합니다. 대표점을 찾는 데 쓴 데이터가 실제 보관할 벡터와 비슷한 분포여야 합니다. pgvector도 IVFFlat을 만들기 전 테이블에 데이터가 어느 정도 있어야 재현율을 확보하기 좋다고 안내합니다.

대표점은 목록 배정과 방문 순서를 정하는 길잡이입니다. 임베딩 모델을 바꿨다면 기존 대표점의 품질을 다시 평가합니다.

2. 벡터를 목록에 배정합니다

각 저장 벡터는 가까운 대표점과 연결된 역파일 목록에 들어갑니다. Faiss는 목록이 고르게 채워진다고 가정하면 방문 비율을 대략 추정할 수 있지만 실제 목록 크기는 같지 않다고 경고합니다.

일부 목록에 벡터가 몰리면 거리 계산량이 늘 수 있습니다. 데이터가 바뀐 뒤에는 검색 품질을 다시 확인합니다.

3. 가까운 목록을 열고 원본 거리를 비교합니다

질의 벡터를 대표점들과 비교해 가까운 목록을 고른 다음, 그 안의 저장 벡터와 거리를 계산해 상위 결과를 뽑습니다. Faiss의 Faster search 문서는 목록 방문 수를 늘리면 속도와 정확도 사이의 절충이 바뀐다고 설명합니다.

방문하지 않은 목록에는 더 가까운 벡터가 있을 수 있습니다. 전역 결과는 별도의 정확 검색으로 검증합니다.

nlist와 nprobe는 무엇을 바꾸나요?

nlist는 만드는 목록의 수입니다

Faiss의 nlist는 대표점으로 구분할 역파일 목록의 수를 정합니다. 목록이 너무 적으면 한 목록을 열 때 비교할 벡터가 많아지고, 너무 많으면 대표점 탐색과 학습 부담이 커지거나 목록마다 학습 자료가 부족해질 수 있습니다.

적정 수는 데이터와 거리 기준에 따라 달라집니다. 문서의 시작값을 그대로 최적값으로 여기지 않습니다.

nprobe는 질의에서 방문할 목록 수입니다

Faiss의 nprobe를 높이면 더 많은 목록을 열어 정답 이웃을 찾을 기회가 늘고 거리 계산량도 커집니다. Faiss FAQ는 IVFFlat에서 모든 목록을 방문하면 전수 비교가 되어 정확한 결과를 얻을 수 있지만 이 경우 Flat 인덱스보다 느릴 수 있다고 설명합니다.

방문 목록을 늘려 얻은 결과는 같은 거리 기준의 정확 검색 결과와 대조하고 검색 지연도 기록합니다.

pgvector에서는 lists와 probes로 부릅니다

pgvector의 IVFFlat 문서에서는 인덱스를 만들 때 lists를 설정하고 질의 때 probes를 설정합니다. 이는 Faiss의 nlist와 nprobe에 대응하는 역할이지만 서로 다른 엔진의 구체적 설정법과 실행 계획은 별도로 확인해야 합니다.

pgvector는 probes를 목록 수만큼 높이면 플래너가 해당 인덱스를 사용하지 않을 수 있다고 명시합니다. 결과가 같아졌다면 실행 계획을 확인해 인덱스 사용 여부를 봅니다.

IVFFlat과 헷갈리는 용어는 무엇이 다른가요?

정확 검색과 IVFFlat의 차이

정확 검색은 조건에 맞는 벡터 전체와 거리를 비교해 가장 가까운 이웃을 찾는 기준입니다. IVFFlat은 먼저 방문할 목록을 제한합니다. 선택한 목록 안의 원본 거리 계산은 하더라도 다른 목록을 생략하므로 근사 검색입니다.

정확 검색을 기준으로 상위 결과의 겹침과 실제 반환 개수를 함께 확인합니다.

ANN과 IVFFlat의 차이

ANN은 정답에 가까운 이웃을 빠르게 찾기 위해 탐색 범위를 줄이는 근사 최근접 이웃 검색의 넓은 범주입니다. IVFFlat은 그중 대표점에 따라 목록을 만들고 방문 범위를 줄이는 구체적 인덱스입니다.

기존 ANN 글은 범주의 원칙을 다루고, 이 글은 대표점 학습과 목록 탐색을 설명합니다.

HNSW와 IVFFlat의 차이

HNSW는 여러 층의 이웃 그래프를 따라 후보를 찾아갑니다. IVFFlat은 대표점에 배정한 목록에서 후보를 고릅니다. pgvector는 자기 구현 기준으로 HNSW가 속도·재현율 절충에서 유리한 대신 구축 시간과 메모리를 더 쓰고, IVFFlat은 생성 전 데이터가 필요하다고 설명합니다.

다른 엔진에도 그 순위를 그대로 적용하지 않습니다. 같은 입력으로 메모리·구축 시간·조회 지연을 비교합니다.

IVFPQ와 IVFFlat의 차이

IVFPQ도 IVF 목록으로 검색 대상을 좁히지만 목록 안에 벡터를 압축된 PQ 코드로 보관해 비교합니다. Faiss 문서의 IndexIVFFlat은 선택된 목록 안의 원본 벡터를 비교합니다. 그래서 목록을 생략해서 발생하는 오류와 벡터 압축에서 생기는 오류를 따로 살필 수 있습니다.

압축과 목록 생략의 영향을 나누어 보려면 같은 정확 검색 결과를 기준으로 비교합니다.

비교 정리: ANN은 큰 범주, IVFFlat은 목록과 원본 거리 비교, HNSW는 그래프 탐색, IVFPQ는 목록과 압축 코드를 결합한 방식입니다.

실전에서는 어디에 쓰이나요?

RAG 문서 검색의 첫 후보 수집

문서를 임베딩으로 바꾼 뒤 질문 벡터에 가까운 문서를 고르는 단계에 IVFFlat을 쓸 수 있습니다. 검색 결과는 최종 답변의 근거 후보일 뿐입니다. 문서 조각의 원문과 권한을 확인하고 필요하면 별도 리랭킹을 거쳐 답변에 넘깁니다.

정답 문서가 검색 후보에 들어왔는지와 실제 답변에 반영됐는지를 구분해 측정합니다.

유사 이미지와 추천 후보 탐색

이미지나 상품을 벡터로 표현하고 비슷한 항목을 빠르게 찾는 작업에서도 목록 기반 인덱스를 검토할 수 있습니다. 이때 거리 기준과 임베딩 모델은 색인과 질의에서 일치해야 합니다.

품절·권한·지역·중복 상품을 걸러 최종 결과 수와 품질을 확인합니다.

검색 성능 실험과 인덱스 선택

pgvector처럼 정확 검색과 HNSW, IVFFlat을 모두 지원하는 환경에서는 같은 질의 집합으로 결과 품질과 처리 시간을 비교할 수 있습니다. Faiss에서도 IVFFlat과 Flat, IVFPQ를 나누어 압축과 탐색 범위가 미치는 영향을 조사합니다.

느린 질의와 구축 시간, 저장 비용, 갱신 후 품질도 확인합니다.

실전 팁: 처음에는 정확 검색을 기준선으로 저장하고 IVFFlat의 방문 목록 수를 바꾸며 품질과 지연을 함께 비교하세요.

IVFFlat 인덱스를 적용할 때 어떤 순서로 확인하나요?

1. 같은 임베딩과 거리 기준으로 비교 자료를 만듭니다

색인할 벡터와 실제 질의 벡터를 같은 모델·차원·전처리 기준으로 준비합니다. 거리 척도가 L2인지 코사인인지도 확인합니다. pgvector는 거리 함수별로 인덱스를 만들도록 안내하므로 질의 연산자와 인덱스 연산자 클래스가 맞는지 봅니다.

검증용 질의는 쉬운 질문뿐 아니라 데이터 경계에 있는 질문도 포함합니다. 사람에게 중요한 문서가 빠진 질의를 따로 표시하면 지표가 비슷할 때도 어떤 설정을 고를지 판단하기 쉽습니다.

2. 대표점을 학습하고 목록 분포를 봅니다

Faiss에서는 대표점 학습을 마친 뒤 벡터를 추가하는 순서를 따릅니다. pgvector에서는 데이터가 어느 정도 들어 있는 테이블에 IVFFlat을 만들 것을 권합니다. 목록 개수는 공식 문서의 권장 시작점을 참고하되 고정된 정답처럼 쓰지 않습니다.

학습 표본이 서비스 데이터와 다르거나 벡터가 특정 목록에 몰리면 탐색량과 결과 품질이 달라질 수 있습니다. 새 임베딩 모델을 적용한 경우에도 예전의 학습 결과와 결과 목록을 그대로 신뢰하지 않습니다.

3. 방문 폭과 정확 검색의 결과를 함께 기록합니다

같은 데이터와 질의에서 방문할 목록 수를 단계적으로 바꾸며 정확 검색 상위 결과와 겹치는 비율, 응답 시간, 반환 개수를 측정합니다. 저장 벡터가 늘거나 필터 조건이 달라지면 이 비교를 다시 합니다.

pgvector라면 설정을 변경한 질의의 실행 계획도 확인합니다. probes를 올려 전수 검색에 가까워질 때 인덱스가 사용된다고 단정하지 않아야 측정한 지연을 제대로 해석합니다.

4. 업무 필터와 권한 조건을 붙여 다시 시험합니다

pgvector 문서는 근사 인덱스가 먼저 스캔되고 필터가 뒤에 적용되면 결과가 요청한 수보다 적을 수 있다고 설명합니다. 테넌트·날짜·문서 접근 권한을 붙인 실제 질의를 별도로 검증하고, 필요하면 해당 구현이 제공하는 반복 스캔 같은 기능을 검토합니다.

검색 전에 접근 가능한 데이터만 넣는 설계와 검색 뒤 권한을 검사하는 설계는 보안 효과가 다릅니다. 후처리로 문서를 제거하는 경우에도 권한 없는 문서가 답변 생성 단계로 넘어가지 않도록 확인합니다.

한 줄 정리: 인덱스 설정은 단독 수치가 아니라 정확 검색 기준, 실제 필터, 권한 검사와 같은 조건에서 비교해야 의미가 있습니다.

사용할 때 무엇을 주의해야 하나요?

첫째, Flat이라는 단어를 전역 정확 검색으로 오해하지 않습니다. 선택된 목록 안에서 원본 거리를 계산하더라도 다른 목록을 방문하지 않았다면 최근접 이웃을 놓칠 수 있습니다. 일부 사례의 정확한 결과를 모든 질의에 일반화하지 않습니다.

둘째, 학습 분포와 색인 시점을 확인합니다. Faiss의 IVF는 대표점을 먼저 학습하고 pgvector의 IVFFlat은 생성 시점에 데이터가 있어야 재현율을 확보하기 쉽습니다. 임베딩 모델이나 서비스 데이터가 달라졌다면 결과 품질을 다시 측정합니다.

셋째, 목록 개수와 방문 수를 한꺼번에 최적화했다고 단정하지 않습니다. 목록은 고르게 채워지지 않을 수 있고 방문 목록을 늘리면 비교 비용도 늘어납니다. 같은 정확 검색 기준선과 실제 질의로 각각의 설정을 비교합니다.

넷째, 필터와 보안을 검색 후에 따로 점검합니다. pgvector에서는 후단 필터 때문에 검색 결과가 부족해질 수 있습니다. 권한 검사를 통과한 근거만 생성 모델에 전달하며 결과 개수도 확인합니다.

다섯째, 구현별 용어와 실행 계획을 구분합니다. Faiss의 nlist·nprobe와 pgvector의 lists·probes는 역할이 비슷하지만 설정 위치는 다릅니다. 플래너가 인덱스를 쓰는지도 실제 환경에서 살핍니다.

주의: 방문 폭을 줄여 얻은 속도만 보고 운영하면 관련 근거가 누락될 수 있습니다. 품질·지연·결과 수를 함께 확인하세요.

자주 묻는 질문

Q1. IVFFlat은 정확한 최근접 이웃 검색인가요?

아닙니다. 방문한 목록의 원본 벡터와 거리를 비교하지만 방문하지 않은 목록에 더 가까운 벡터가 남을 수 있습니다. 정확 검색을 기준으로 결과 누락을 확인하세요.

Q2. nlist를 높이면 항상 더 빨라지나요?

그렇지 않습니다. 목록 안의 벡터 수는 줄어들 수 있지만 대표점 탐색과 학습 비용이 바뀌고 목록별 크기도 고르지 않을 수 있습니다. 같은 질의에서 측정해야 합니다.

Q3. nprobe를 높이면 어떤 변화가 생기나요?

더 많은 목록을 방문해 진짜 이웃을 찾을 가능성이 커지고 비교량도 늘어납니다. Faiss의 IVFFlat에서 모든 목록을 방문하면 전수 비교가 되지만 그때는 Flat 인덱스보다 느릴 수 있습니다.

Q4. IVFFlat과 HNSW 중 무엇이 더 좋은가요?

항상 우세한 방식은 없습니다. pgvector는 자기 구현에서 HNSW의 속도·재현율 절충이 유리하고 IVFFlat의 구축과 메모리 부담이 낮다고 설명합니다. 데이터와 운영 제약을 같은 조건에서 비교하세요.

Q5. pgvector에서 데이터가 없는 테이블에도 바로 만들어도 되나요?

만들 수 있는지와 좋은 검색 품질은 별개입니다. pgvector는 IVFFlat의 재현율을 위해 테이블에 어느 정도 데이터가 들어간 뒤 인덱스를 만들 것을 권합니다. 실제 생성·조회 동작은 해당 버전에서 시험하세요.

Q6. IVFFlat이 벡터를 PQ처럼 압축하나요?

Faiss의 IndexIVFFlat은 목록 안에 원본 벡터 표현을 두고 비교합니다. 압축 코드를 이용하는 IndexIVFPQ와 구분해야 하며 메모리와 재현율은 실제 인덱스로 비교하세요.

출처

마무리

IVFFlat은 벡터의 분포로 대표점을 학습하고 목록을 만든 뒤, 질의와 가까운 목록의 벡터만 비교하는 검색 인덱스입니다. 모든 데이터를 보지 않아 속도와 재현율 사이에 절충이 생깁니다. Flat이라는 이름만으로 전체 검색의 정확성을 보증하지는 않습니다.

처음 적용한다면 정확 검색으로 비교 기준을 만들고 목록 수와 방문 목록 수를 바꾸면서 실제 질문의 결과를 확인하세요. RAG나 추천 검색에서는 필터 뒤에 결과가 충분히 남는지, 권한 없는 문서가 답변에 넘어가지 않는지도 함께 살피는 편이 안전합니다.