후버 회귀(Huber Regression)란? AI에서 이상치의 영향을 줄여 수치를 예측하는 방법

TL;DR

후버 회귀는 작은 오차와 큰 오차를 다르게 다뤄 이상치가 수치 예측의 직선을 과하게 흔들지 않도록 하는 강건 회귀 방법입니다. 작은 잔차에는 제곱 손실을, 큰 잔차에는 선형 손실을 적용합니다. scikit-learn의 HuberRegressor는 잔차의 척도도 함께 추정하며, 이상치를 아예 버리는 RANSAC과는 다릅니다. 임계값을 바꾸기 전에 데이터 오류와 검증 성능을 함께 살펴야 합니다.

핵심 3줄 요약

• 핵심 1
  큰 오차의 영향만 완화합니다. 정상 범위의 오차에는 제곱 손실을 유지하고 큰 잔차에는 선형 손실을 적용합니다.
• 핵심 2
  epsilon은 척도와 함께 읽습니다. HuberRegressor는 잔차의 크기를 추정한 scale_로 나누어 경계를 판단합니다.
• 핵심 3
  이상치를 자동 삭제하지 않습니다. outliers_는 해당 모델의 표시이며 원본 데이터의 오류 판정이나 삭제 명령이 아닙니다.

이 글에서 다룰 내용

후버 회귀를 한 문장으로 정의하면 무엇인가요?

후버 회귀(Huber Regression)는 예측값과 실제값의 차이인 잔차가 작을 때는 제곱 손실을 쓰고, 잔차가 커지면 선형 손실을 써서 일부 큰 오차에 덜 끌리는 회귀 방법입니다.

여기서 회귀는 연속적인 숫자를 예측하는 문제입니다. 후버 회귀가 특별히 답하려는 질문은 예측값이 몇 개의 극단적인 관측 때문에 지나치게 바뀌는가입니다. 모든 큰 잔차를 무시하는 대신, 그 영향을 줄인 채 다른 표본과 함께 모델을 맞춥니다.

후버 손실이라는 계산 규칙을 어떤 최적화 문제에 넣는지에 따라 구현은 달라집니다. 이 글의 매개변수와 속성은 scikit-learn의 HuberRegressor를 기준으로 설명합니다. 라이브러리마다 같은 이름을 쓰더라도 손실의 계수와 임계값을 해석하는 방식이 같다고 가정해서는 안 됩니다.

한 줄 정리: 큰 오차를 삭제하는 모델이 아니라, 큰 오차의 손실 증가 방식을 바꾸어 선형 관계를 추정하는 모델입니다.

쉬운 예시로 이해해 볼까요?

온라인 상점에서 광고 노출 수로 하루 주문액을 예측한다고 해 보겠습니다. 대부분의 날은 노출이 늘 때 주문액도 비슷한 방향으로 움직이지만, 집계가 누락된 하루는 실제 주문액이 다른 날에 비해 유난히 낮게 기록됐습니다. 이 하루의 잔차는 다른 날보다 큽니다.

일반적인 제곱오차 방식에서는 잔차가 커질수록 손실이 제곱으로 커집니다. 집계 오류가 있는 날에 맞추려고 회귀선이 크게 기울면, 제대로 기록된 다른 날의 예측이 오히려 나빠질 수 있습니다. 후버 회귀는 잔차가 경계를 넘은 표본에서 손실이 선형으로 커지게 하므로 그 표본의 영향이 상대적으로 작아집니다.

그렇다고 해당 기록을 곧장 지워서는 안 됩니다. 대형 행사 때문에 실제로 주문액이 급증했을 수도 있습니다. 후버 회귀 결과와 기본 회귀 결과를 나란히 본 다음, 이상한 날의 원본 집계와 행사 기록을 확인하는 것이 먼저입니다.

쉬운 예시: 측정 오류가 섞여도 다른 날의 흐름을 찾되, 특이한 날을 데이터에서 몰래 빼지는 않습니다.

왜 AI에서 후버 회귀가 중요한가요?

몇 개의 큰 잔차가 추정값을 좌우하는 일을 줄입니다

회귀 모델은 모든 관측을 토대로 계수를 정합니다. 제곱 손실에서는 일부 잔차가 유난히 크면 그 표본의 기여가 빠르게 커집니다. 후버 손실은 큰 잔차 구간을 선형으로 이어서 오차가 더 커지더라도 손실 증가 속도를 완만하게 만듭니다. 이 점이 이상치에 대한 강건성을 만듭니다.

scikit-learn은 강건 회귀가 잘못된 관측뿐 아니라 모델 형태가 실제 관계와 어긋나는 경우도 다룬다고 설명합니다. 큰 잔차가 꼭 입력 실수라는 보장은 없습니다. 선형 모형이 놓친 곡선 관계인지, 특정 그룹에만 다른 규칙이 있는지도 확인해야 합니다.

표본을 남겨 두면서 다른 영향력을 부여합니다

RANSAC은 여러 부분 표본에서 후보를 만들고 합의하는 표본을 골라 최종 모델을 맞춥니다. 반면 HuberRegressor는 큰 잔차의 효과를 줄이되 완전히 없애지는 않습니다. 이 차이 때문에 같은 이상치 자료를 보더라도 두 방법의 계수와 예측이 다를 수 있습니다.

후버 회귀의 목적은 성능 점수가 반드시 가장 높아지는 데 있지 않습니다. 정해진 검증 자료에서 기본 모델과 예측 오차를 비교해야 합니다. 특히 극단값 자체를 정확히 예측해야 하는 서비스라면, 큰 잔차의 영향을 줄이는 선택이 목표와 맞는지도 따로 살펴야 합니다.

핵심 인사이트: 강건하다는 말은 이상치를 알아서 바로잡는다는 뜻이 아닙니다. 어떤 오차를 줄여 학습할지 정하는 손실 설계의 차이입니다.

후버 회귀는 어떻게 작동하나요?

잔차를 계산하고 크기에 따라 손실을 나눕니다

먼저 각 행의 입력으로 수치를 예측하고 실제 수치와의 차이를 구합니다. SciPy의 후버 손실 함수는 잔차 절댓값이 경계 안에 있을 때 제곱형 손실을, 경계를 넘으면 절댓값에 비례하는 선형 손실을 적용합니다. 두 구간의 경계는 손실이 갑자기 끊기지 않도록 이어집니다.

그 결과 작은 오차에는 세밀하게 반응하면서도 매우 큰 오차 하나가 전체 계수를 끌고 가는 정도는 줄어듭니다. 단, 선형 구간에서도 손실은 계속 증가합니다. 큰 오차가 아예 계산에서 사라지는 것은 아닙니다.

epsilon과 scale_의 관계를 확인합니다

scikit-learn의 HuberRegressor는 계수와 절편뿐 아니라 잔차의 척도인 scale_도 함께 최적화합니다. 원래 잔차를 그 척도로 나눈 크기와 epsilon을 비교해 큰 오차 쪽을 구분합니다. 따라서 epsilon을 단순히 원래 주문액 단위의 오차 허용값으로 읽으면 안 됩니다.

문서상 기본 epsilon은 1.35이고 허용 범위는 1 이상입니다. epsilon을 작게 잡으면 더 많은 표본이 큰 잔차 쪽으로 분류될 수 있습니다. 예측 대상 y의 전체 크기를 바꿔도 척도 추정이 임계값 해석을 돕지만, 입력 특징 X의 열마다 단위가 다른 문제까지 자동으로 해결하지는 않습니다.

alpha와 수렴 상태도 별도로 봅니다

HuberRegressor의 alpha는 계수에 대한 L2 규제 강도입니다. 이 값은 큰 잔차와 작은 잔차를 가르는 epsilon과 다른 역할을 합니다. 계수 규제가 필요 없을 때의 설정과 이상치에 덜 민감하게 만들 때의 설정을 같은 조절 장치로 취급하지 마세요.

학습 뒤에는 coef_와 intercept_를 보고, scale_ 및 outliers_가 무엇을 표시하는지 확인합니다. n_iter_는 최적화 반복 횟수이고, 반복 한도에 닿았는지와 수렴 경고가 있었는지도 함께 봅니다. 모델의 score는 결정계수 R²이므로 강건 손실 자체의 값이라고 생각하면 결과를 잘못 해석할 수 있습니다.

실전 팁: epsilon은 이상치 경계, alpha는 계수 규제입니다. 두 값을 바꿀 때 같은 검증 분할과 지표를 유지해야 차이를 읽기 쉽습니다.

후버 회귀와 헷갈리는 용어는 무엇이 다른가요?

일반 최소제곱·릿지 회귀와의 차이

일반 최소제곱은 잔차의 제곱을 줄여 선형 계수를 찾습니다. 릿지 회귀는 여기에 계수 크기를 제한하는 L2 규제를 더합니다. 후버 회귀는 큰 잔차 쪽의 손실이 선형으로 바뀐다는 점이 핵심입니다. HuberRegressor에는 L2 규제도 있지만, 규제가 들어 있다는 사실만으로 릿지 회귀와 같은 학습 목적이 되는 것은 아닙니다.

scikit-learn의 공식 비교 예시는 강한 이상치가 있는 자료에서 릿지와 HuberRegressor의 예측선을 나란히 보여 줍니다. 특정 예시에서 후버 방식이 덜 움직였다는 결과를 모든 데이터셋의 우열로 일반화하면 안 됩니다. 어떤 값이 특이한지, 검증 대상이 무엇인지에 따라 선택은 달라집니다.

RANSAC·Theil-Sen과의 차이

RANSAC은 무작위 부분 표본에서 가설을 반복 시험하고 인라이어로 마지막 모델을 맞춥니다. Theil-Sen은 여러 부분 표본에서 나온 추정값을 일반화된 중앙값 방식으로 결합합니다. HuberRegressor는 모든 관측을 대상으로 손실을 최적화하되 큰 잔차의 영향만 낮춥니다.

공식 강건 회귀 비교 자료도 입력 X의 이상치인지 정답 y의 이상치인지, 이상치의 크기와 비율이 어떤지에 따라 결과가 다르다고 설명합니다. 서로 다른 알고리즘의 outlier 표시 개수를 그대로 놓고 누가 이상치를 더 잘 찾았다고 결론 내릴 수는 없습니다.

후버 손실 함수와 후버 회귀의 차이

후버 손실은 잔차를 숫자로 평가하는 규칙입니다. SciPy의 scipy.special.huber는 경계값과 잔차를 받아 손실을 계산하는 함수입니다. 후버 회귀는 이런 형태의 손실을 이용해 입력 특징으로 수치를 예측하도록 계수 등을 학습하는 모델입니다.

단순 손실 함수를 호출했다고 모델이 학습되지는 않습니다. 반대로 다른 알고리즘에서 후버 손실을 쓴다고 해서 scikit-learn의 HuberRegressor와 같은 척도 추정이나 규제, 최적화 과정까지 자동으로 따라오는 것도 아닙니다.

이상 탐지와의 차이

이상 탐지는 관측값이 평소 패턴과 얼마나 다른지를 찾는 문제입니다. 후버 회귀는 수치 예측 모델을 일부 큰 잔차에 덜 민감하게 학습하는 방법입니다. HuberRegressor의 outliers_는 학습한 회귀선과 추정 척도를 기준으로 구분한 표식이므로 실제 집계 오류를 확인하는 별도 조사와 혼동하면 안 됩니다.

비교 정리: 릿지는 계수 규제, RANSAC은 합의 표본 선택, 후버 회귀는 큰 잔차에서 손실 증가 방식 조정에 초점이 있습니다.

실전에서는 어디에 쓰이나요?

측정값에 오류가 섞인 수치 예측

센서가 일부 시간에 잘못 기록하거나 매출 집계가 누락되는 상황에서 기본 선형 회귀와 후버 회귀를 함께 맞춰 볼 수 있습니다. 어느 방법이 현장 목적에 나은지 알려면 원본 기록, 데이터 수집 방식, 독립된 검증 구간의 오차를 함께 확인해야 합니다. 오차가 큰 사례가 고객에게 중요한 사건이면 단순히 영향만 낮추는 방법은 충분하지 않습니다.

실험 결과의 안정성 비교

같은 학습·검증 분할에서 기본 회귀와 HuberRegressor의 계수, 예측, 잔차 분포를 비교합니다. 몇 건을 뺐을 때만 방향이 뒤집히는 관계라면 숫자 하나로 요약하지 말고 영향이 큰 표본의 공통점을 조사합니다. 공식 강건 회귀 예시도 이상치가 입력 쪽에 있는지 정답 쪽에 있는지를 구분해 모델을 비교합니다.

특이한 표본을 조사할 후보 만들기

학습이 끝난 뒤 outliers_가 참인 행을 원본 ID와 맞춰 검토할 수 있습니다. 이 마스크는 모델의 기준에 따라 바뀌므로 확정 오류 목록이 아닙니다. 해당 행의 입력 특징과 정답, 집계 시각, 담당자 수정 기록을 찾아 원인을 분류하는 출발점으로만 씁니다.

실전 팁: 이상치 표시가 많다고 데이터를 일괄 삭제하면 드문 정상 사례까지 사라질 수 있습니다. 원인과 용도를 확인한 뒤 따로 판단하세요.

모델을 확인할 때 어떤 순서로 점검하나요?

1. 예측 대상과 표본 ID를 고정합니다

무엇을 예측할지, 한 행이 하루인지 주문 한 건인지 먼저 적습니다. 입력 X와 정답 y의 행 순서, 중복 기록, 누락, 단위를 확인하세요. 하루 단위 예측에 주문 단위 정답을 섞으면 후버 손실로도 맞출 수 없는 데이터 문제가 됩니다.

2. 검증 구간을 먼저 분리합니다

특이값을 눈으로 살펴보기 전에 훈련·검증 구간을 나눕니다. 시계열이면 앞 시점으로 학습하고 뒤 시점에 시험할지 결정합니다. 특징의 스케일링이나 결측 처리에서 검증 자료의 통계를 미리 쓰지 않도록 학습 단계만으로 변환 규칙을 맞춥니다.

3. 기본 모델과 같은 자료로 비교합니다

같은 분할, 같은 특징, 같은 평가 단위에서 기본 회귀와 후버 회귀를 비교합니다. 전체 평균 오차만 보지 말고 정상 기록과 큰 잔차 기록을 분리해 검토하세요. 검증 목적에 맞는 절대오차와 제곱오차 계열 지표를 함께 살피면 드문 큰 실패를 놓치지 않기 쉽습니다.

4. 경계와 표시된 행을 원본과 대조합니다

epsilon, alpha, scale_, outliers_와 반복 경고를 기록합니다. 표시된 행이 수집 오류인지 드문 정상 사례인지 확인하고, 설정 변경 뒤 같은 원본 행의 표시가 달라지는지도 봅니다. 특정 범주의 예측만 반복해서 나빠진다면 하나의 직선이 맞는지부터 재검토하세요.

한 줄 정리: 데이터 정합성, 검증 분할, 기준 모델, 잔차와 이상치 표시를 차례로 봐야 모델 선택의 근거가 남습니다.

사용할 때 무엇을 주의해야 하나요?

첫째, 이상치를 가볍게 보지 않습니다. 극단적인 수치가 실제 장애나 중요한 고객 행동일 수 있습니다. 큰 잔차의 영향을 낮춘 모델은 평균적인 흐름에 편할 수 있지만, 그 사건 자체를 놓치면 문제가 되는 업무에도 그대로 적합한 것은 아닙니다.

둘째, X와 y의 이상을 구분합니다. HuberRegressor가 추정하는 척도는 잔차, 즉 예측과 정답의 차이에 관련됩니다. 입력 특징이 심하게 잘못 측정되거나 서로 다른 척도로 섞여 있다면, y의 큰 잔차를 완화하는 것만으로 해결되지 않습니다. 특히 고차원 자료의 강건 회귀에는 한계가 있습니다.

셋째, outliers_를 정답 라벨로 취급하지 않습니다. 이 마스크는 현재 학습 자료와 모델 설정 아래 표시된 결과입니다. 원본에 오류가 있다는 증거, 개인정보 삭제 대상으로 확정할 근거, 모든 새 입력의 위험 점수가 아닙니다.

넷째, score와 손실 함수를 혼동하지 않습니다. scikit-learn 회귀 추정기의 score는 R²입니다. 큰 잔차에 덜 끌리도록 모델을 맞췄다고 해서 모든 평가 지표가 개선되는 것은 아닙니다. 실제 서비스에서 중요한 오차 단위를 정하고 같은 검증 자료에서 다시 비교해야 합니다.

다섯째, 공식 예시의 수치나 선 모양을 자신의 데이터 결과로 바꾸어 말하지 않습니다. 예시는 차이를 이해하기 위한 합성 데이터 실험입니다. 후버 회귀가 항상 릿지, RANSAC, Theil-Sen보다 나은 모델이라는 주장은 공식 자료만으로 뒷받침되지 않습니다.

주의: 큰 잔차의 영향 완화는 데이터 품질 검사의 대체물이 아닙니다. 이상치가 왜 생겼는지 확인하는 절차를 남겨 두세요.

자주 묻는 질문

Q1. 후버 회귀는 이상치를 자동으로 삭제하나요?

아닙니다. 큰 잔차에서 손실이 선형으로 증가하도록 조정하므로 그 표본의 영향은 줄지만 완전히 사라지지는 않습니다. 삭제 여부는 원본 확인과 업무 기준에 따라 따로 결정합니다.

Q2. epsilon을 작게 하면 무조건 정확해지나요?

아닙니다. 경계가 달라지면서 더 많은 표본이 큰 잔차 쪽으로 분류될 수 있습니다. 검증 오차와 중요 사례의 성능을 함께 비교하세요. HuberRegressor의 epsilon은 원본 정답값의 오차 단위가 아니라 scale_과 관련된 경계입니다.

Q3. 후버 회귀와 RANSAC은 같은 강건 회귀인가요?

둘 다 이상치의 영향을 의식하는 방법이지만 절차가 다릅니다. 후버 회귀는 손실의 모양을 바꾸고, RANSAC은 여러 부분 표본에서 합의 집합을 찾아 최종 모델을 맞춥니다. 같은 자료라도 어느 표본에 어떻게 반응하는지가 다릅니다.

Q4. alpha를 키우면 이상치를 더 잘 무시하나요?

그렇게 단정할 수 없습니다. HuberRegressor의 alpha는 계수에 대한 L2 규제 강도입니다. 잔차 경계는 epsilon과 함께 읽어야 합니다. 두 설정의 효과를 보려면 각각을 바꾸어 같은 검증 자료로 비교하세요.

Q5. outliers_가 참이면 잘못된 데이터인가요?

아닙니다. 학습한 모델이 잔차 기준으로 표시한 행입니다. 실제 오류인지, 드물지만 정상적인 사건인지, 선형 모형이 포착하지 못한 패턴인지는 원본 데이터와 업무 기록을 살펴야 알 수 있습니다.

출처

마무리

후버 회귀는 작은 오차에 세밀하게 반응하되 큰 오차가 선형 예측을 지나치게 흔들지 않도록 손실을 조정하는 방법입니다. 이상치를 버리는 RANSAC, 계수 크기를 조절하는 릿지 회귀, 잔차만 평가하는 후버 손실 함수와 각각 맡은 일이 다릅니다.

처음 시험한다면 같은 자료에서 기본 선형 회귀를 기준으로 세우고, epsilon·scale_·alpha의 역할과 표시된 표본의 원인을 확인하세요. 마지막 판단은 모델 이름이나 마스크의 참·거짓보다 독립된 검증 자료와 실제 업무에서 중요한 예측 실패에 두는 편이 안전합니다.