확률적 깊이(Stochastic Depth)란? AI에서 학습 중 잔차 분기를 무작위로 쉬게 하는 방법
TL;DR
확률적 깊이는 학습 중 잔차 분기의 기여를 무작위로 제외하고 우회 경로를 남기는 학습 방법입니다. 평가 때는 전체 깊이를 사용합니다. 일반 드롭아웃의 개별 값 제거와 구별하며, 표본별·배치별 마스크와 생존 확률에 따른 보정을 확인합니다. 분기 출력을 0으로 만든다고 이미 수행한 분기 계산까지 사라지거나 모델 파일이 작아지지는 않습니다.[1][2][3][5]
핵심 3줄 요약
- 핵심 1
학습 때 분기의 참여가 달라집니다. 잔차 분기의 기여를 잠시 끄며 입력을 전달하는 우회 경로는 남깁니다. - 핵심 2
제거 확률과 생존 확률은 반대입니다. 같은 p라는 글자도 논문과 API에서 뜻이 다를 수 있어 정의부터 읽습니다. - 핵심 3
출력 제거와 계산 생략을 나눠 봅니다. 이미 계산한 결과에 마스크를 곱하는 구현은 자동으로 학습 시간을 줄이지 않습니다.
이 글에서 다룰 내용
- 확률적 깊이의 한 문장 정의
- 두 표본의 숫자로 보는 잔차 분기와 마스크
- 깊이를 바꿔 학습하는 이유와 작동 순서
- 제거 확률·생존 확률·row·batch·평가 모드
- 드롭아웃·프루닝·DropPath와의 차이
- 모델 설정을 읽고 점검하는 체크리스트
- 원 논문과 구현의 보정·실행 비용 주의점
확률적 깊이를 한 문장으로 정의하면 무엇인가요?
확률적 깊이는 잔차 연결이 있는 신경망에서 학습 중 일부 변환 분기의 기여를 확률적으로 제외해 유효한 경로의 깊이를 바꾸는 방법입니다. 영문명은 Stochastic Depth입니다. 원 논문은 짧은 경로로 학습하고 평가 때 긴 네트워크를 사용하는 구성을 설명합니다.[1]
잔차 블록을 단순하게 쓰면 출력은
x + F(x)
입니다. x는 우회 경로로 전달하는 입력이고 F(x)는 합성곱 등으로 계산한 잔차 분기의 출력입니다. 확률적 깊이는 이 둘을 더하기 전에 F(x)의 참여를 정합니다. 더한 결과 전체를 0으로 만드는 것과 다릅니다.[1][5]
여기서는 덧셈 전후의 별도 활성화를 생략하고 입력과 분기 출력의 모양이 같은 경우를 설명합니다. 실제 블록에 투영·활성화가 있다면 그 연결도 확인합니다. 원 논문이 우회를 항등함수로 설명할 때의 비음수 입력 조건을 모든 구조에 그대로 적용하지 않습니다.[1]
한 줄 정리: 확률적 깊이는 층을 영구 삭제하는 압축이 아니라 학습 단계마다 잔차 분기의 참여를 바꾸는 방법입니다.
쉬운 예시로 이해해 볼까요?
감자나라ai님이 두 표본의 잔차 블록을 살펴본다고 가정하겠습니다. 첫 표본의 우회 입력은
[10,20]
, 분기 출력은
[2,4]
입니다. 둘째 표본은 각각
[30,40]
,
[6,8]
입니다. 모두 원리를 보기 위해 직접 정한 숫자이며 학습된 모델의 측정값이 아닙니다.
Torchvision의 학습 보정 방식을 따라 제거 확률을 0.5로 둡니다. 생존 확률도 0.5이므로 남은 분기 출력은 2배가 됩니다. 표본별 마스크가
[1,0]
이면 첫 분기를 남기고 둘째를 끕니다. 최종 출력은 첫 표본
[14,28]
, 둘째 표본
[30,40]
입니다.[3]
반대로 마스크가
[0,1]
이면 최종 출력은
[10,20]
과
[42,56]
입니다. 꺼진 표본도 우회 입력은 남습니다. 각 표본의 첫 숫자만 끄거나 둘째 숫자만 남기는 방식이 아니라 표본 안의 분기 출력 전체가 같은 결정을 따릅니다.
평가 모드에서는 이 무작위 제거와 2배 보정을 끄므로 출력은
[12,24]
와
[36,48]
입니다. 독립적인 두 표본의 마스크 네 조합을 같은 확률로 열거해 평균내도 이 값을 얻습니다. 다만 고정한 분기 출력의 기대값을 확인한 것이며 비선형 모델 전체의 예측 평균까지 같다는 증명은 아닙니다.
위 계산과 경계 확률은 Python 표준 라이브러리의 분수 연산으로 검산했습니다. PyTorch·timm 모델 실행, 실제 학습 시간 측정이나 정확도 실험은 아닙니다. 마스크를 고정한 산술 확인과 무작위 학습의 효과를 구분해서 읽습니다.
쉬운 예시: 기본 전달 경로는 열어 두고 추가 계산의 기여를 표본마다 켜거나 끕니다. 꺼진 분기는 이번 덧셈에 참여하지 않습니다.
왜 AI에서 확률적 깊이가 중요한가요?
깊은 네트워크의 학습 경로를 바꿉니다
원 논문은 깊은 잔차 네트워크의 기울기 전달과 학습 부담을 다룹니다. 일부 변환을 우회하면 학습 중 참여하는 경로가 짧아집니다. 논문은 여러 깊이의 경로가 가중치를 공유하며 학습한다고도 설명합니다. 이것이 별개의 모델 파일 여러 개를 저장한다는 뜻은 아닙니다.[1]
정규화 설정의 적용 대상을 구별합니다
학습 설정에서 dropout과 stochastic depth가 함께 보여도 같은 자리에 같은 마스크를 쓴다고 가정하지 않습니다. 개별 활성값을 지우는 일반 드롭아웃과 잔차 분기를 통째로 조절하는 방식은 전달 구조가 다릅니다. 두 비율을 합쳐 하나의 제거율로 읽지 않습니다.[2][3][6]
핵심 인사이트: 이름의 깊이는 모델 파일에 남는 층 수보다 학습 중 어떤 변환 경로가 참여하는지에 연결됩니다.
확률적 깊이는 어떤 순서로 작동하나요?
1. 우회 경로와 잔차 분기를 구분합니다
먼저 x와 F(x)를 더하는 위치를 찾습니다. 확인한 EfficientNet 구현은 보폭이 1이고 입력·출력 채널 수가 같을 때 잔차 연결을 사용합니다. 그 조건에서 분기 결과에 확률적 깊이를 적용한 뒤 입력을 더합니다. 모든 블록을 무조건 같은 방식으로 건너뛴다고 설명하지 않습니다.[5]
2. 생존 여부를 나타내는 마스크를 뽑습니다
제거 확률을 d, 생존 확률을 q라고 쓰면
q = 1 - d
입니다. 마스크 b는 확률 q로 1, 나머지는 0입니다. 표본마다 따로 뽑을지 배치 전체가 하나의 결정을 공유할지는 구현의 모드로 정합니다. 한 번 뽑힌 마스크의 평균이 반드시 q일 필요는 없습니다.[2][3]
3. 남은 기여를 보정하고 우회 입력을 더합니다
Torchvision은 q가 양수일 때 학습 분기를
b * F(x) / q
로 계산합니다. 따라서 이 글의 단순 블록은
x + b * F(x) / q
입니다. 평가 때는 분기를 그대로 돌려주어
x + F(x)
가 됩니다. 연산 하나의 반환값과 잔차 덧셈까지 마친 출력은 구별합니다.[3][5]
실전 팁: 분기 출력, 마스크 적용 직후 값, 우회 입력을 더한 값을 따로 기록하세요. 어느 경로가 사라졌는지 바로 확인할 수 있습니다.
주요 설정과 결과는 어떻게 읽나요?
p가 제거인지 생존인지 먼저 확인합니다
Torchvision의 p는 입력 분기를 0으로 만들 확률입니다. 반면 원 논문의 p는 해당 블록이 살아 있을 확률입니다. 논문의 0.8을 API의 p에 그대로 넣으면 의미가 뒤집힙니다. 보정의 분모가 생존 확률인지까지 함께 적고 변수 이름만 복사하지 않습니다.[1][2][3]
row와 batch는 마스크를 공유하는 범위입니다
mode="row"
는 첫 축의 각 표본에 하나씩 결정을 내립니다. 이미지의 가로 한 줄을 지운다는 뜻이 아닙니다. 입력이 배치·채널·높이·너비 순서라면 한 표본의 모든 채널과 공간 위치가 같은 마스크를 받습니다.
mode="batch"
는 입력 배치 전체에 하나의 마스크를 공유합니다.[2][3]
앞 예시를 batch로 처리하면 두 분기가 함께 남아 출력이
[14,28]
과
[42,56]
이 되거나, 함께 꺼져 우회 입력 두 개만 남습니다. row에서는 한 표본만 남는 조합도 가능합니다. 두 모드가 같은 기대값을 가져도 한 번의 출력과 표본 사이의 상관은 다릅니다.
함수의 training과 모듈의 평가 모드를 구별합니다
Torchvision 함수
stochastic_depth
는 training의 기본값이 True입니다. 독립적으로 함수를 호출한다면 평가용 호출에
training=False
를 명시하거나 상위 모듈의 상태를 전달합니다.
StochasticDepth
모듈은 자신의 학습 상태를 함수로 넘기므로 모듈을 평가 모드로 전환하는 경로와 직접 함수 호출을 섞지 않습니다.[2][3]
깊이별 확률표는 모델 구현에서 읽습니다
원 논문은 깊은 블록일수록 생존 확률을 줄이는 선형 규칙을 제안합니다. 확인한 EfficientNet은 전체 블록 번호와 수로 제거 확률을 계산합니다. timm의 DropPath는 표본별 마스크이며 기본적으로 생존 확률로 나누되
scale_by_keep=False
면 그 보정을 끕니다. 확률표와 보정 옵션을 별개로 보관합니다.[1][4][5]
확률적 깊이와 헷갈리는 용어는 무엇이 다른가요?
일반 드롭아웃과 제거 단위가 다릅니다
기존 드롭아웃 글은 일부 유닛의 출력 제거와 과적합을 설명합니다. PyTorch의 일반 Dropout은 원소를 무작위로 지웁니다. 여기서 다룬 확률적 깊이는 한 표본 또는 배치의 잔차 분기 출력 전체를 같은 결정으로 조절하고 우회 경로를 남깁니다. 구조와 마스크 범위를 함께 비교합니다.[3][6]
프루닝·조기 종료와 목적이 다릅니다
기존 프루닝 글은 배포할 모델의 가중치·연결을 줄이거나 희소하게 만드는 압축을 다룹니다. 확률적 깊이는 학습 중 참여를 바꾸며 평가 때 전체 분기를 사용합니다. 학습을 어느 시점에 끝낼지 정하는 조기 종료와도 다릅니다. 이번 분기의 제외를 학습 작업 전체의 중단으로 읽지 않습니다.
DropPath라는 이름도 구현을 확인합니다
확인한 timm 소스는 잔차 블록의 주 경로에 적용하는 표본별 확률적 깊이를 DropPath라고 부릅니다. 같은 주석은 과거의 DropConnect 명칭이 별도 기법과 혼동될 수 있다고 설명합니다. 이름만 보고 가중치 개별 제거와 같은 방법이라고 단정하지 말고 마스크 축·삽입 위치·보정 규칙을 확인합니다.[4]
비교 정리: 일반 드롭아웃은 원소 단위, 이 글의 확률적 깊이는 잔차 분기 단위로 읽습니다. 프루닝은 배포 구조의 압축이고 조기 종료는 학습 종료 시점의 선택입니다.
실전에서는 어디에 쓰이나요?
비전 모델의 학습 설정을 읽습니다
Torchvision EfficientNet은 잔차 연결이 가능한 블록에서 확률적 깊이를 사용합니다. 모델 설정을 검토할 때는 대표 확률 하나만 보지 말고 블록별 실제 값과 잔차 연결 조건을 추적합니다. 설정에 확률이 있다고 모든 합성곱 층이 독립적으로 제거되는 것은 아닙니다.[5]
재구현에서 마스크와 보정을 대조합니다
다른 구현으로 옮길 때 같은 작은 분기 출력을 넣고 마스크를 고정해 결과를 확인하는 방법이 유용합니다. 표본 축과 보정이 맞는지 본 뒤 학습·평가 모드를 비교합니다. 이는 검증 순서 제안이며 이 글에서 모델 변환이나 라이브러리 간 호환성을 실증했다는 뜻은 아닙니다.
확률적 깊이를 적용할 때 어떤 순서로 확인하나요?
1. 삽입 위치와 확률표를 기록합니다
분기 덧셈 전인지 후인지, 우회 경로가 그대로 남는지 적습니다. 표본 축·마스크 공유 모드·제거 확률·보정 옵션·모듈의 학습 상태도 남깁니다. 깊이별로 다른 값을 쓰면 각 블록의 값을 펼쳐 보며 학습 자료와 검증 자료를 미리 분리합니다.
2. 작은 배열에서 학습과 평가를 비교합니다
두 표본에 서로 다른 숫자를 넣고 한 분기만 켠 마스크를 고정해 봅니다. 제거 확률 0이면 분기가 그대로인지, 평가 모드에서도 무작위 제거가 남아 있지 않은지 확인합니다. Torchvision은 학습 중 p가 1이면 분기 전체가 0이 되도록 처리하지만 일반적인 학습 후보를 이 극단값으로 정하지는 않습니다.[3]
3. 같은 조건에서 품질과 비용을 측정합니다
다른 학습 조건을 고정하고 확률 후보를 검증 자료에서 비교합니다. 한 시드의 점수만 보지 말고 반복에 따른 변동과 중요한 범주의 오류를 남깁니다. 설명용 네 블록의 생존 확률이 0.9·0.8·0.7·0.6이면 참여 블록 수의 기대값은 3입니다. 이 숫자는 총 계산 시간이나 최종 정확도가 아닙니다.
사용할 때 무엇을 주의해야 하나요?
첫째, 원 논문과 현대 구현의 보정 시점을 섞지 않습니다. 원 논문은 학습 때 남은 분기를 별도로 키우지 않고 평가 때 생존 확률을 곱합니다. 이 글의 Torchvision 구현은 학습 때 생존 확률로 나누고 평가 때 그대로 씁니다. 같은 기호의 식이나 기존 가중치를 교환해도 동일한 모델이 된다고 가정하지 않습니다.[1][3]
둘째, 출력 제거를 계산 생략으로 보고하지 않습니다. 확인한 EfficientNet 코드는 분기를 먼저 계산한 뒤 마스크를 적용합니다. 따라서 분기가 0이 됐어도 앞선 합성곱 계산은 수행됐습니다. 원 논문의 실제 우회 구현에서 얻은 시간 절감 수치를 이런 사후 마스킹 구현에 그대로 옮길 수 없습니다.[1][3][5]
셋째, 제거 확률이 커질수록 남은 분기의 배율도 커집니다. 제거 확률 0.75이면 생존 확률은 0.25이고 기본 보정 배율은 4입니다. 너무 강한 제거는 학습에 필요한 경로를 드물게 참여시키거나 출력 변동을 키울 수 있으므로 모델과 자료에 맞춰 검증합니다. 이 숫자는 권장 설정이 아닙니다.
넷째, 마스크 뒤 출력이 0이라고 그 분기의 모든 내부 상태가 멈췄다고 판단하지 않습니다. 분기 안에 배치 정규화가 있고 이미 순전파했다면 통계 처리도 앞서 실행될 수 있습니다. 모델의 실행 순서와 상태 갱신을 따로 확인하며 분기 출력·가중치 삭제·추론 비용을 하나의 효과로 묶지 않습니다.[5]
주의: 무작위 경로가 올바르게 동작하는지, 독립 자료의 품질이 나아졌는지, 실제 계산이 줄었는지는 각각 검증합니다.
자주 묻는 질문
Q1. 깊이라는 말은 모델 층을 영구 삭제한다는 뜻인가요?
아닙니다. 학습 중 일부 잔차 변환의 기여를 잠시 제외합니다. 평가 때는 전체 깊이를 사용하며 별도의 압축이 없다면 모델 파일의 가중치 수도 이 방법만으로 줄지 않습니다.[1]
Q2. row는 이미지의 가로 한 줄인가요?
아닙니다. Torchvision은 첫 축을 표본 축으로 해석합니다. row 모드는 표본별로 하나의 마스크를 뽑아 그 표본의 분기 출력 전체에 적용합니다.[2][3]
Q3. p가 0.8이면 80%를 남기나요?
Torchvision의 p는 제거 확률이므로 80% 확률로 분기를 끕니다. 원 논문의 p는 생존 확률입니다. 문서마다 기호의 뜻이 다르므로 제거·생존 중 무엇인지 먼저 확인합니다.[1][2]
Q4. 분기를 끄면 우회 입력도 0이 되나요?
이 글의 잔차 연결에서는 아닙니다. 분기 결과에 마스크를 적용한 다음 x를 더합니다. 더한 출력 전체에 마스크를 걸면 다른 계산이므로 삽입 위치를 대조합니다.[5]
Q5. 평가 때도 2배 보정을 하나요?
이 글의 제거 확률 0.5인 Torchvision 예시는 학습 중 남은 분기만 2배로 만듭니다. 평가 때는 제거와 배율 보정을 끕니다. 원 논문의 평가 시점 보정과 섞지 않습니다.[1][3]
Q6. 분기 절반을 끄면 학습도 두 배 빨라지나요?
그렇게 단정할 수 없습니다. 마스크 전에 분기를 이미 계산한 구현은 그 계산을 절약하지 않습니다. 참여 확률과 실제 실행 시간은 다르므로 대상 장치에서 전체 학습 경로를 측정합니다.[3][5]
출처
마무리
확률적 깊이는 학습 중 잔차 분기의 참여를 무작위로 정하고 우회 경로를 남기는 방법입니다. 일반 드롭아웃의 원소 제거, 프루닝의 배포 압축과 구별하며 제거 확률·생존 확률·표본별 마스크·보정 시점을 함께 읽으면 설정의 의미가 분명해집니다.
처음에는 두 표본의 작은 배열에서 분기만 꺼지는지 확인해 보세요. 학습과 평가의 값을 대조한 뒤 전체 모델의 검증 품질과 실제 실행 비용을 기록합니다. 출력이 0이 돼도 앞선 계산까지 생략됐다고 판단하지 마세요.
