객체 추적(Object Tracking)이란? AI가 영상 속 같은 대상을 따라가는 방법

TL;DR

객체 추적(Object Tracking)은 영상의 연속된 프레임에서 같은 대상을 이어 찾아 위치와 이동 변화를 기록하는 컴퓨터 비전 기술입니다. 객체 탐지가 한 장면에서 무엇이 어디에 있는지 찾는다면, 객체 추적은 다음 장면에서도 그 대상이 같은 대상인지 연결합니다. 차량 흐름, 스포츠 분석, 물류·제조 현장과 영상 편집에 쓰이지만 가림, 빠른 움직임, 비슷한 외형 때문에 추적 ID가 바뀔 수 있습니다.

핵심 3줄 요약

• 핵심 1
  객체 추적은 시간 정보를 다룹니다. 프레임마다 찾은 대상을 연결해 위치, 경로와 머문 시간을 기록합니다.
• 핵심 2
  추적 ID는 영상 안에서 대상을 구분하는 번호입니다. 사람의 실제 신원이나 차량 소유자를 뜻하지 않습니다.
• 핵심 3
  정확도는 촬영 조건과 목적에 따라 달라집니다. 가림, 작은 대상, 카메라 움직임과 ID 전환을 실제 영상으로 점검해야 합니다.

이 글에서 다룰 내용

객체 추적을 한 문장으로 정의하면 무엇인가요?

객체 추적은 영상이나 연속 이미지에서 관심 대상을 프레임마다 찾아 같은 대상끼리 연결하고, 시간에 따른 위치와 상태 변화를 기록하는 컴퓨터 비전 작업입니다.

Google Cloud 문서는 객체 추적이 영상에서 여러 대상을 추적하고, 대상의 라벨과 프레임 안 위치를 돌려준다고 설명합니다. 각 대상에는 바운딩 박스와 시간 정보가 붙습니다. 스트리밍 환경에서는 같은 대상을 시간에 따라 연결하도록 추적 ID를 씁니다.

NVIDIA DeepStream 문서는 다중 객체 추적(Multi-Object Tracking, MOT)의 핵심을 여러 프레임에서 같은 대상에 지속적인 ID를 유지하는 작업으로 설명합니다. 한 대상만 따라가는 방식도 있지만, 교차로의 여러 차량이나 매장의 여러 사람처럼 여러 대상을 동시에 연결하는 경우가 많습니다.

한 줄 정리: 객체 추적은 영상의 매 장면을 따로 보는 대신, 같은 대상을 시간축으로 이어 이동 경로를 만드는 기술입니다.

쉬운 예시로 이해해 볼까요?

감자나라ai님이 매장 앞 교차로 영상을 분석한다고 가정해 보겠습니다. 첫 프레임에서 AI가 승용차 두 대와 자전거 한 대를 찾습니다. 객체 탐지만 사용하면 다음 프레임에서도 사물 세 개를 찾을 수 있지만, 어느 승용차가 조금 전 왼쪽에 있던 차량인지 바로 알기 어렵습니다.

객체 추적기는 첫 번째 승용차에 17번, 두 번째 승용차에 24번, 자전거에 31번 같은 추적 ID를 붙입니다. 다음 프레임의 위치, 움직임 방향, 크기와 외형 정보를 비교해 같은 대상을 다시 연결합니다. 이 연결이 이어지면 차량별 이동 경로, 특정 선을 통과한 횟수와 구역에 머문 시간을 계산합니다.

두 차량이 겹치거나 가로수 뒤로 사라지면 문제가 생깁니다. 다시 나타난 차량을 새 대상으로 판단해 17번이 42번으로 바뀔 수 있습니다. 이를 ID 전환(ID Switch)이라고 부릅니다.

쉬운 예시: 객체 탐지가 사진마다 사람에게 동그라미를 그리는 일이라면, 객체 추적은 영상이 끝날 때까지 같은 사람의 동그라미에 같은 번호를 붙이는 일입니다.

객체 추적은 어떤 순서로 작동하나요?

1. 관심 대상을 찾습니다

객체 탐지 모델이 사람, 차량, 상품처럼 찾으려는 대상과 바운딩 박스를 만듭니다. Apple Vision처럼 사용자가 첫 프레임에서 추적할 영역을 직접 지정하고 그 위치를 다음 프레임으로 넘기는 방식도 있습니다.

2. 이전 대상과 새 탐지를 비교합니다

추적기는 새 프레임의 바운딩 박스를 기존 추적 대상과 비교합니다. 위치와 크기의 겹침, 이동 방향, 속도, 외형 특징을 조합합니다. NVIDIA는 이 과정을 데이터 연결(Data Association)이라고 설명합니다.

3. 같은 대상에 추적 ID를 유지합니다

연결 결과가 충분히 맞으면 기존 ID를 유지합니다. 맞는 대상이 없으면 새 ID를 만들고, 오랫동안 보이지 않는 대상은 추적을 끝냅니다. 이 번호는 분석 시스템 안에서 같은 대상을 이어 보기 위한 식별자입니다.

4. 가려진 대상을 다시 연결합니다

대상이 다른 물체 뒤에 잠시 가려지면 마지막 위치와 움직임을 바탕으로 다음 위치를 추정합니다. 외형 특징을 다시 비교하는 재식별(Re-identification, Re-ID)을 함께 쓰기도 합니다. 그래도 연결이 틀릴 수 있으므로 가림이 많은 장면은 따로 시험해야 합니다.

5. 시간 정보와 경로를 저장합니다

결과에는 프레임별 바운딩 박스, 시간, 라벨, 신뢰도와 추적 ID가 들어갈 수 있습니다. 이 기록으로 이동 경로, 구역 진입, 통과 횟수와 머문 시간을 계산합니다.

핵심 인사이트: 객체 추적의 성능은 대상을 한 번 잘 찾는 능력뿐 아니라, 장면이 바뀌어도 같은 대상이라는 연결을 얼마나 안정적으로 유지하는지에 달려 있습니다.

AI 제품과 업무에서 왜 중요한가요?

영상에서 행동의 흐름이 드러납니다

정지 이미지 분석은 한순간의 상태를 보여 줍니다. 객체 추적을 더하면 어디에서 들어와 어느 방향으로 움직였고 얼마나 머물렀는지가 드러납니다. Google Cloud의 예시처럼 교차로 영상에서 차량별 바운딩 박스를 시간에 따라 이어 보여 줍니다.

반복 집계를 자동화합니다

매장 방문 흐름, 생산 라인을 지나는 물체 수, 창고에서 움직이는 운반 장비와 스포츠 경기의 선수 이동을 집계합니다. 단순 개수보다 같은 대상을 두 번 세지 않는 것이 중요하므로 추적 ID의 안정성이 결과에 직접 영향을 줍니다.

영상 편집과 인터랙션에 활용됩니다

특정 대상을 따라 자막이나 그래픽을 붙이고, 화면 안에서 선택한 물체를 계속 강조합니다. Apple Vision 문서는 초기 바운딩 박스로 대상을 정한 뒤 연속 프레임에서 위치를 갱신하는 방식을 보여 줍니다.

로봇과 현장 시스템의 입력이 됩니다

로봇이나 카메라 기반 자동화는 움직이는 대상의 현재 위치와 예상 경로를 알아야 합니다. 다만 안전과 관련된 동작은 추적 결과 하나만으로 결정하지 않고 거리 센서, 규칙과 사람의 감독을 함께 사용해야 합니다.

실전 팁: “무엇을 추적할 것인가”보다 먼저 “추적 결과로 어떤 판단을 할 것인가”를 정하세요. 통과 횟수, 체류 시간, 경로 분석 가운데 목적이 달라지면 필요한 카메라 위치와 검증 기준도 달라집니다.

헷갈리는 용어와 무엇이 다른가요?

객체 추적과 객체 탐지

객체 탐지는 한 이미지나 프레임에서 대상의 종류와 위치를 찾습니다. 객체 추적은 여러 프레임의 탐지 결과를 연결해 같은 대상의 위치 변화를 기록합니다. 추적 시스템 안에 객체 탐지 모델이 들어갈 수 있지만 두 작업은 같지 않습니다.

객체 추적과 이미지 분할

이미지 분할은 대상을 픽셀 단위 마스크로 나눕니다. 객체 추적은 시간에 따라 같은 대상을 연결합니다. 최근 시스템은 분할 마스크를 프레임 사이에서 이어 가는 추적·분할 방식을 함께 쓰기도 합니다.

객체 추적과 재식별

재식별은 서로 다른 시점이나 카메라에서 관찰한 대상의 외형 특징이 같은지 비교하는 기술입니다. 객체 추적은 위치와 움직임만으로도 만들며, 가림 뒤 다시 연결하거나 여러 카메라를 잇기 위해 재식별 정보를 더하기도 합니다.

객체 추적과 광학 흐름

광학 흐름은 프레임 사이에서 픽셀이 어느 방향으로 움직였는지 추정합니다. 객체 추적은 사람이나 차량처럼 의미 있는 대상 단위의 ID와 경로를 유지합니다. 광학 흐름이 추적의 한 단서가 되기도 하지만 같은 개념은 아닙니다.

추적 ID와 실제 신원

추적 ID는 영상 안에서 같은 대상을 연결하기 위한 임시 번호입니다. 17번 차량이라는 결과만으로 번호판, 소유자나 실제 신원을 알 수 없습니다. 신원 확인은 별도의 데이터와 기술이 필요한 다른 문제입니다.

비교 정리: 탐지는 한 장면에서 찾기, 분할은 픽셀로 나누기, 재식별은 외형으로 다시 맞추기, 광학 흐름은 픽셀 움직임 추정, 객체 추적은 대상을 시간축으로 연결하기입니다.

실전에서는 무엇을 점검해야 하나요?

1. 대상과 행동을 구체적으로 정합니다

‘사람 추적’보다 ‘입구선을 통과한 방문 수 계산’처럼 결과를 사용할 행동까지 적습니다. 추적할 클래스, 최소 크기, 구역과 분석 시간을 함께 정하면 불필요한 추적을 줄일 수 있습니다.

2. 실제 촬영 조건을 모읍니다

낮과 밤, 비나 역광, 고정·이동 카메라, 혼잡한 시간과 가림이 많은 장면을 표본에 넣습니다. Google Cloud는 매우 작은 대상이 탐지되지 않을 수 있다고 안내합니다. 멀리 있는 대상이 중요한 업무라면 해상도와 카메라 각도를 먼저 점검해야 합니다.

3. ID 정책을 정합니다

대상이 몇 프레임 보이지 않으면 추적을 끝낼지, 다시 나타났을 때 기존 ID로 연결할지, 영상이나 카메라가 바뀌면 ID를 새로 만들지 정합니다. ID 수명과 범위를 문서로 남겨야 집계 오류를 해석하기 쉽습니다.

4. 탐지와 연결 오류를 나눠 봅니다

대상을 찾지 못한 오류와 찾았지만 잘못된 ID에 붙인 오류는 원인이 다릅니다. 누락·오탐뿐 아니라 ID 전환, 경로 끊김과 중복 집계를 따로 확인합니다.

5. 목적에 맞는 표본으로 검증합니다

실제 운영 영상에서 사람이 표시한 정답과 비교합니다. 고급 평가에는 HOTA, MOTA, IDF1 같은 지표가 쓰이지만 초보자는 먼저 통과 횟수 오차, 잘못 바뀐 ID 수와 중요한 대상을 놓친 사례를 눈으로 확인해도 좋습니다.

실전 체크: 대상·구역·카메라 조건, ID 수명, 가림 처리, 누락·오탐·ID 전환, 개인정보 보관 기준을 한 장에 적고 운영 영상으로 시험하세요.

사용할 때 무엇을 주의해야 하나요?

첫째, 추적 ID를 실제 신원으로 해석하지 않습니다. ID는 시스템이 영상 안에서 연결한 번호일 뿐이며 연결 오류도 생길 수 있습니다.

둘째, 가림과 비슷한 외형을 가볍게 보지 않습니다. NVIDIA 문서는 부분 가림으로 바운딩 박스의 위치·크기와 외형이 바뀌면 추적 실패와 ID 전환이 늘 수 있다고 설명합니다.

셋째, 데모 영상 한 편만 보고 정확도를 판단하지 않습니다. 실제 카메라의 높이, 프레임 속도, 해상도, 조명과 혼잡도를 반영한 표본이 필요합니다.

넷째, 신뢰도 기준을 지나치게 높이거나 낮추지 않습니다. 너무 높으면 대상을 자주 놓치고, 너무 낮으면 잘못된 탐지가 새 추적으로 만들어질 수 있습니다. 탐지 기준과 추적 종료 기준을 함께 조정합니다.

다섯째, 사람을 추적하는 경우 목적과 보관 범위를 먼저 정합니다. 필요한 구역과 시간만 처리하고 원본 영상, 추적 경로와 식별 가능 정보에 접근할 사람을 제한해야 합니다. 적용되는 개인정보·노동·감시 관련 규정도 실제 운영 지역과 용도에 맞춰 확인합니다.

여섯째, 안전과 권리 판단을 자동 확정하지 않습니다. 추적 오류가 출입 제한, 직원 평가나 위험 경보로 이어진다면 사람이 원본 장면과 다른 근거를 다시 확인할 절차가 필요합니다.

주의: 객체 추적 결과는 관찰을 돕는 추정값입니다. 추적 ID, 신뢰도와 이동 경로를 사실 확정이나 사람의 신원으로 바꾸어 읽지 마세요.

자주 묻는 질문

Q1. 객체 추적은 객체 탐지 모델 없이도 가능한가요?

가능합니다. 첫 프레임에서 사용자가 직접 영역을 지정하고 다음 프레임에서 그 대상을 따라가는 방식이 있습니다. 여러 대상이 새로 나타나고 사라지는 환경에서는 객체 탐지와 추적을 함께 쓰는 경우가 많습니다.

Q2. 추적 ID는 영상이 바뀌어도 같은 대상을 뜻하나요?

보통 그렇지 않습니다. 추적 ID의 범위와 수명은 시스템 설정에 따라 달라집니다. 다른 카메라나 새 영상에서도 같은 대상을 연결하려면 재식별, 시간·위치 정보와 별도 정책이 필요합니다.

Q3. 화면에서 잠깐 사라진 대상도 계속 추적할 수 있나요?

위치와 움직임을 예측해 일정 시간 추적을 유지합니다. 가림이 길거나 비슷한 대상이 많으면 새 ID가 붙거나 다른 대상과 바뀔 수 있으므로 재연결 기준을 검증해야 합니다.

Q4. 객체 추적은 실시간으로만 사용하나요?

아닙니다. 카메라 영상을 즉시 분석할 수도 있고 저장된 영상을 나중에 처리할 수도 있습니다. 실시간은 지연 시간과 연산 자원이 중요하고, 사후 분석은 더 복잡한 모델과 재검수를 적용하기 쉽습니다.

Q5. 객체 추적 정확도는 어떤 숫자로 확인하나요?

목적에 따라 다릅니다. 다중 객체 추적 연구와 도구에서는 HOTA, MOTA, IDF1 같은 지표를 사용합니다. 현업에서는 통과 횟수 오차, 중요한 대상 누락, ID 전환과 경로 끊김도 함께 봐야 합니다.

출처

마무리

객체 추적은 영상의 여러 프레임에서 같은 대상을 이어 찾아 위치와 이동 경로를 기록하는 컴퓨터 비전 기술입니다. 한 장면의 대상을 찾는 객체 탐지와 달리, 시간에 따라 같은 대상이라는 연결을 유지하는 일이 중심입니다.

감자나라ai님이 영상 AI를 검토한다면 추적 대상과 활용 목적, 실제 촬영 조건, ID가 끊기는 기준부터 확인해 보세요. 잘 만든 추적 시스템은 화려한 경로 표시보다 누락·중복·ID 전환이 업무 결과에 어떤 영향을 주는지 설명해야 합니다.