그래디언트 부스팅(Gradient Boosting)이란? AI에서 손실의 기울기로 예측을 보완하는 방법

TL;DR

그래디언트 부스팅은 현재 예측의 손실을 줄이는 방향에 새 모델을 맞추고, 그 결과를 기존 예측에 조금씩 더하는 지도학습 방법입니다. 트리를 쓰는 경우 각 단계의 회귀 트리가 음의 기울기를 학습합니다. 제곱 오차에서는 이를 남은 잔차를 보완하는 과정으로 이해할 수 있지만 모든 손실이 단순 잔차를 쓰지는 않습니다. 학습률·단계 수·트리 크기를 함께 조절하고 학습 밖의 데이터로 성능을 확인합니다.

핵심 3줄 요약

• 핵심 1
  다음 모델이 보완할 방향을 계산합니다. 원래 정답을 그대로 다시 맞추기보다 현재 예측에서 계산한 음의 기울기를 다음 학습 목표로 삼습니다.
• 핵심 2
  작은 보완을 순서대로 쌓습니다. 학습률은 새 트리의 기여를 줄이고 단계 수는 얼마나 많이 더할지 정합니다. 둘을 함께 비교합니다.
• 핵심 3
  손실과 구현의 차이를 확인합니다. 회귀·분류의 출력, 다중 클래스의 트리 수, 결측값 지원과 조기 종료는 선택한 구현에 따라 달라집니다.

이 글에서 다룰 내용

그래디언트 부스팅을 한 문장으로 정의하면 무엇인가요?

그래디언트 부스팅(Gradient Boosting)은 현재 예측에 대한 손실의 음의 기울기를 새 기본 모델로 근사하고 그 모델을 순차적으로 더해 손실을 줄이는 앙상블 학습 방법입니다.

그래디언트는 기울기라는 뜻입니다. 예측을 어느 방향으로 바꾸면 손실이 줄어드는지 계산하고, 입력 특징으로 그 방향을 예측하는 작은 모델을 학습합니다. 이미 만든 모델을 모두 버리고 다음 모델로 교체하는 과정은 아닙니다.

기본 모델로 결정 트리를 쓰면 그래디언트 부스팅 결정 트리인 GBDT 또는 회귀 트리를 강조한 GBRT라는 이름을 만납니다. GBM은 Gradient Boosting Machine의 약어로 쓰입니다. 이 글은 그중 트리를 사용하는 방식과 scikit-learn의 기본 구현을 중심으로 설명합니다.

한 줄 정리: 앞선 예측을 보고 다음 트리가 보완할 수치를 계산한 뒤, 여러 보완을 더해 최종 모델을 만듭니다.

쉬운 예시로 이해해 볼까요?

감자나라ai님이 주문의 무게·거리·출고 시각으로 배송에 걸리는 시간을 예측한다고 가정해 보겠습니다. 먼저 모든 주문에 같은 기준 시간을 예측합니다. 제곱 오차를 사용한다면 정답 시간의 평균이 기본 출발점이 됩니다.

실제보다 짧게 예측한 주문에는 양의 잔차가, 길게 예측한 주문에는 음의 잔차가 남습니다. 다음 회귀 트리는 주문의 특징을 보고 이 잔차를 예측하도록 학습합니다. 먼 지역의 무거운 주문에서 주로 시간이 부족했다면 그런 조건을 나누는 분기가 생길 수 있습니다.

새 트리가 낸 보완값을 학습률만큼 반영한 뒤 잔차를 다시 계산합니다. 다음 단계는 처음의 잔차가 아니라 갱신된 예측에서 남은 차이를 봅니다. 학습을 마치면 기준 예측과 그동안 더한 보완들을 함께 사용합니다.

이는 원리를 설명하는 가상 예시이며 실제 배송 데이터의 실험 결과는 아닙니다. 분류나 다른 회귀 손실에서는 다음 트리가 학습할 수치가 달라지므로 모든 부스팅을 배송 시간의 단순 차이처럼 계산해서는 안 됩니다.

쉬운 예시: 처음 쓴 예상 시간표 위에 조건별 보정표를 조금씩 덧붙인다고 생각하면 됩니다. 마지막 보정표 하나가 전체 예상 시간을 대신하지는 않습니다.

왜 AI에서 그래디언트 부스팅이 중요한가요?

표 데이터의 비선형 관계를 다룹니다

입력의 효과가 하나의 직선으로 설명되지 않거나 여러 조건이 함께 작용하는 문제에서 비교할 만한 모델입니다. scikit-learn 가이드는 트리 부스팅을 표 형태 데이터의 분류와 회귀에 적합한 방법으로 소개합니다. 다만 데이터만 표로 만들면 항상 높은 정확도를 얻는다는 뜻은 아닙니다.

예측 목적에 맞는 손실을 선택합니다

숫자의 평균적인 오차를 줄일지, 큰 오차에 덜 민감하게 학습할지, 조건부 분위수를 예측할지에 따라 손실이 달라집니다. 부스팅의 순차 결합 원리는 유지하면서 목표를 바꾸는 것입니다. 평가 지표도 그 목표와 맞는지 확인합니다.

학습 과정을 단계별로 살펴봅니다

트리가 더해질 때 훈련 손실과 검증 손실이 어떻게 변하는지 비교할 수 있습니다. 처음에는 함께 좋아지다가 검증 성능이 나빠지는 구간을 찾으면 모델 크기를 정하는 데 도움이 됩니다. 학습 곡선의 개선과 실제 운영 성능의 개선은 구분해 읽습니다.

그래디언트 부스팅은 어떤 순서로 작동하나요?

1. 기준 예측과 손실을 정합니다

회귀에서는 입력 특징과 실제 수치, 분류에서는 특징과 정답 클래스를 준비합니다. 손실을 고른 뒤 초기 예측을 만듭니다. scikit-learn의 기본 회귀 구현은 제곱 오차일 때 목표값 평균을 사용하며 다른 손실은 초기값 규칙이 달라집니다.

2. 현재 예측에서 음의 기울기를 계산합니다

각 사례의 예측을 바꿀 때 손실이 어느 방향으로 변하는지 계산합니다. 그 반대 방향인 음의 기울기가 다음 학습의 목표 수치입니다. 제곱 오차에서는 잔차와 연결되지만 로그 손실이나 절대 오차에서는 같은 단순 차이로 설명할 수 없습니다.

3. 회귀 트리로 보완값을 학습합니다

특징을 입력으로, 앞에서 구한 수치를 목표로 삼아 회귀 트리를 맞춥니다. 필요한 경우 선택한 손실에 맞게 잎의 출력값도 조정합니다. 전체 작업이 분류여도 내부의 트리는 클래스 번호가 아니라 수치 보완값을 예측하는 회귀 트리입니다.

4. 보완을 더하고 다음 단계로 넘어갑니다

새 트리의 출력에 학습률을 곱해 기존 점수에 더합니다. 갱신된 점수에서 다시 기울기를 계산하며 정한 단계나 중단 조건까지 반복합니다. 분류는 누적한 원시 점수를 손실에 맞는 변환으로 확률에 연결합니다. 이진 로그 손실에서는 시그모이드, 다중 클래스에서는 소프트맥스를 사용합니다.

학습률과 주요 설정은 무엇을 뜻하나요?

learning_rate와 n_estimators

learning_rate 는 각 트리가 더하는 보완의 크기이고 n_estimators 는 부스팅 단계 수입니다. 학습률을 낮추면 비슷한 훈련 손실에 도달하는 데 더 많은 단계가 필요한 경향이 있습니다. 작은 학습률과 큰 단계 수가 언제나 최선인 조합은 아니므로 검증 성능과 비용을 함께 비교합니다.

scikit-learn의 회귀와 이진 분류는 단계마다 트리 하나를 만들지만 다중 클래스 분류는 단계마다 클래스 수만큼 회귀 트리를 만듭니다. 따라서 n_estimators 를 모든 경우의 전체 트리 수로 읽으면 모델 크기와 예측 비용을 잘못 예상할 수 있습니다.

max_depth와 min_samples_leaf

max_depth 는 각 트리의 깊이를 제한하고 min_samples_leaf 는 잎에 필요한 최소 표본 수를 정합니다. 더 깊은 트리는 복잡한 조건 조합을 표현하지만 작은 집단의 잡음까지 따라갈 수 있습니다. 트리 하나의 크기와 전체 부스팅 단계는 서로 다른 복잡도 조절 장치입니다.

subsample과 손실 선택

subsample 은 각 단계에서 학습에 쓸 표본의 비율입니다. 1보다 작게 설정하면 일부 표본을 비복원 추출하는 확률적 그래디언트 부스팅이 됩니다. 공식 규제 예제는 부분 표본과 학습률 축소를 함께 비교합니다. 표본만 줄였다고 검증 오차가 반드시 낮아지지는 않습니다.

기본 회귀 구현의 loss="squared_error" 는 제곱 오차를, loss="absolute_error" 는 절대 오차를 사용합니다. 기본 분류 구현의 loss="log_loss" 는 로그 손실입니다. 같은 설정 이름이라도 회귀기와 분류기에서 허용하는 값이 다르므로 해당 API를 확인합니다.

실전 팁: 학습률·단계 수·트리 크기·표본 비율을 구분해 기록하세요. 한 설정의 효과를 다른 설정이 가리면 성능 차이의 이유를 찾기 어렵습니다.

그래디언트 부스팅과 헷갈리는 용어는 무엇이 다른가요?

AdaBoost와의 차이

에이다부스트(AdaBoost)는 틀린 사례의 상대적 가중치를 높이는 방식으로 이해하기 쉽습니다. 그래디언트 부스팅은 선택한 손실의 음의 기울기에 새 모델을 맞추는 틀입니다. 완전히 무관한 방법은 아니며 scikit-learn 분류 API는 지수 손실을 선택하면 AdaBoost 알고리즘과 연결된다고 설명합니다.

랜덤 포레스트와의 차이

랜덤 포레스트는 서로 다른 표본과 특징 조건으로 만든 트리의 예측을 모읍니다. 그래디언트 부스팅의 다음 단계는 앞선 누적 예측에서 계산한 기울기에 의존합니다. 트리들이 학습되는 관계가 다르므로 같은 트리 수만 맞춰 학습 비용이나 표현력을 같다고 보지 않습니다.

경사 하강법과의 차이

경사 하강법은 기울기를 이용해 최적화하는 넓은 방법입니다. 신경망에서는 보통 기존 가중치를 갱신하지만 트리 부스팅에서는 현재 예측을 보완하는 새 함수를 추가합니다. 기울기를 쓴다는 이유로 신경망의 역전파 학습과 같은 모델 구조라고 부르지는 않습니다.

히스토그램 기반 구현과의 차이

HistGradientBoostingRegressor 와 HistGradientBoostingClassifier 는 수치값을 구간으로 나눠 분할 후보의 계산 부담을 줄이는 구현입니다. 공식 가이드는 큰 데이터에서의 속도 이점과 결측값·범주형 특징 지원을 안내합니다. 기본 GradientBoosting 계열과 옵션·지원 손실이 완전히 같지는 않으며 반복 수에는 max_iter 를 사용합니다.

실전에서는 어디에 쓰이나요?

표 형태 기록의 분류와 수치 예측

주문 조건으로 소요 시간을 예측하거나 센서 특징으로 상태를 분류하는 문제에 후보 모델로 적용합니다. 원문 문서나 음성을 넣으면 의미를 저절로 읽는 범용 생성 모델은 아닙니다. 사용할 특징과 정답의 정의를 먼저 만들고 단순 모델과 같은 평가 분할에서 비교합니다.

분위수 예측과 모델 크기 비교

회귀 API의 loss="quantile" 은 alpha 로 지정한 조건부 분위수를 학습합니다. 상·하위 분위수를 따로 학습해 범위를 만들 수도 있지만 목표 포함률이 자동으로 보장되는 것은 아닙니다. 평균 예측의 오차와 구간의 포함률·폭은 서로 다른 평가 항목입니다.

회귀의 staged_predict 와 분류의 staged_predict_proba 는 각 단계의 결과를 순서대로 확인하는 데 씁니다. 검증 데이터로 충분한 단계 수를 비교하고 최종 테스트는 따로 남깁니다. 공식 예제의 데이터와 그래프는 작동 원리의 근거이며 내 서비스의 성능을 대신하지 않습니다.

그래디언트 부스팅을 적용할 때 어떤 순서로 확인하나요?

첫째, 입력 시점과 정답을 고정합니다. 배송 전에 예측할 모델에 배송 완료 뒤에만 알 수 있는 값을 넣지 않습니다. 같은 고객이나 같은 장비의 기록이 양쪽에 섞여 결과를 부풀리지 않는지 살피고 시간·집단에 맞게 학습과 평가를 나눕니다.

둘째, 전처리와 구현을 함께 선택합니다. 기본 트리 부스팅과 히스토그램 기반 구현의 결측값·범주형 지원을 확인합니다. 결측값을 대체하거나 범주를 인코딩한다면 변환기를 훈련 데이터에만 맞추고 이후 입력에도 같은 열 순서와 규칙을 적용합니다.

셋째, 설정과 중단 기준을 검증합니다. 기본 구현에서 n_iter_no_change 를 정수로 설정하면 validation_fraction 만큼 떼어 둔 자료의 손실 개선을 보고 조기 종료합니다. 허용 개선 폭은 tol 과 연결됩니다. 시간 순서를 지켜야 하는 문제라면 기본 내부 분할이 목적에 맞는지 별도로 점검합니다.

넷째, 결과와 실행 조건을 저장합니다. 실제 학습된 단계 수는 n_estimators_ 에서 확인합니다. 데이터 버전·특징·손실·시드·라이브러리 버전과 예측 시간을 함께 남깁니다. 반복 실행에서는 random_state 를 명시하되 같은 결과를 재현했다는 사실을 일반화 성능의 증거로 삼지는 않습니다.

사용할 때 무엇을 주의해야 하나요?

잔차라는 비유를 모든 손실에 적용하지 않습니다. 분류 모델에서 클래스 번호를 그대로 빼서 다음 트리를 학습한다고 설명하면 잘못입니다. 선택한 손실이 만드는 기울기와 잎의 보정 규칙을 확인하고, 원시 점수와 확률을 구분합니다.

훈련 손실만 보고 단계를 늘리지 않습니다. 보완을 많이 쌓으면 잡음이나 잘못된 정답에도 맞출 수 있습니다. 드문 클래스의 재현율, 큰 회귀 오차, 집단별 성능을 함께 보세요. 검증 자료를 계속 보며 설정을 골랐다면 그 자료는 최종 독립 테스트가 아닙니다.

분류 확률과 중요도를 과신하지 않습니다. predict_proba 의 열은 classes_ 순서에 대응합니다. 확률을 실제 위험의 빈도로 사용하려면 별도의 확률 평가가 필요합니다. 특성 중요도도 모델 안에서의 기여를 살피는 단서이며 어떤 입력이 결과를 일으킨 원인이라는 증거는 아닙니다.

기본값과 지원 기능을 다른 구현에 그대로 옮기지 않습니다. 특히 조기 종료 기본 동작, 반복 수 이름, 허용 손실이 다릅니다. 오래된 예제의 옵션을 복사하기 전에 설치한 버전의 API를 확인합니다. 문서에 있는 빠르다는 설명도 실제 표본 수·특징 수·장비에서 측정해 판단합니다.

주의: 손실을 잘 줄이는 모델과 실제 의사결정에 안전한 모델은 같은 뜻이 아닙니다. 데이터 누수·라벨 오류·분포 변화는 부스팅 단계 수만 늘려 해결할 수 없습니다.

자주 묻는 질문

Q1. 그래디언트 부스팅은 딥러닝인가요?

트리를 기본 모델로 쓰는 그래디언트 부스팅은 일반적으로 딥러닝으로 분류하지 않습니다. 여러 신경망 층의 가중치를 학습하는 구조와 달리 회귀 트리를 순서대로 더합니다. 둘 다 지도학습 문제의 후보가 될 수 있지만 모델 구조는 다릅니다.

Q2. 다음 트리는 항상 정답에서 예측을 뺀 값을 배우나요?

제곱 오차 회귀에서는 잔차로 이해할 수 있지만 일반적으로는 손실의 음의 기울기를 학습합니다. 분류와 다른 회귀 손실까지 같은 뺄셈으로 처리하지 않습니다. 손실에 따라 잎의 최종 출력값을 조정하는 단계도 있습니다.

Q3. 분류에도 회귀 트리를 쓰는 이유는 무엇인가요?

내부 트리는 최종 클래스가 아니라 누적 점수를 보완할 수치를 예측하기 때문입니다. 회귀 트리들의 출력을 더한 뒤 손실에 맞는 변환으로 클래스 확률과 예측을 얻습니다. 내부 학습기의 종류와 전체 모델의 작업을 구분하세요.

Q4. 학습률을 낮추면 반드시 더 정확한가요?

아닙니다. 학습률을 낮춘 채 단계 수를 그대로 두면 충분히 학습하지 못할 수 있습니다. 필요한 단계를 늘리면 학습과 예측 비용도 커집니다. 검증 성능이 유지되는 범위에서 트리 크기·부분 표본과 함께 비교합니다.

Q5. 새 데이터가 들어오면 자동으로 계속 학습하나요?

일반적인 예측 호출은 저장된 모델로 결과만 계산합니다. 기본 구현의 warm_start=True 는 이전 학습 결과에 추정기를 추가하는 기능이며, 새 데이터 스트림에 자동 적응한다는 뜻은 아닙니다. 재학습 조건과 평가·배포 절차는 따로 설계합니다.

출처

마무리

그래디언트 부스팅은 현재 손실을 줄이는 방향을 새 모델로 학습하고 그 보완을 순서대로 더하는 방법입니다. 트리 기반 구현은 표 데이터의 분류와 회귀에 널리 쓰이며, 제곱 오차의 잔차 보완을 넘어 여러 손실로 확장됩니다.

처음에는 음의 기울기, 학습률, 부스팅 단계를 나눠 이해하면 충분합니다. 다음 트리가 무엇을 배우는지 확인하고 같은 검증 조건에서 설정을 비교하세요. 마지막으로 실제 출력의 의미와 학습 밖의 성능까지 살펴야 모델의 개선이 업무에 도움이 되는지 판단할 수 있습니다.