PReLU란? AI에서 음수 신호의 기울기까지 학습하는 활성화 함수
TL;DR
PReLU는 양수 입력은 그대로 보내고 음수 입력에는 학습한 기울기를 곱하는 활성화 함수입니다. 음수 쪽 계수도 다른 모델 가중치와 함께 배웁니다. 고정된 기울기의 Leaky ReLU와 구별하며 계수를 채널마다 둘지 공유할지도 확인합니다. PyTorch와 Keras의 기본 초기값·공유 범위는 같지 않고 ONNX로 옮길 때는 기울기 배열이 어느 축에 대응하는지 검증합니다.[1][2][3][5]
핵심 3줄 요약
- 핵심 1
음수 쪽 기울기를 배웁니다. 기울기는 정답 확률이나 고정 학습률이 아니라 모델에 저장하는 학습 계수입니다. - 핵심 2
공유 범위가 계수 수를 바꿉니다. 전체 채널이 하나를 쓸 수도 있고 채널마다 다른 값을 쓸 수도 있습니다. - 핵심 3
같은 이름도 기본 설정은 다릅니다. 초기값·채널 축·배포 시 배열 모양까지 맞춰야 같은 계산을 재현합니다.
이 글에서 다룰 내용
- PReLU의 한 문장 정의와 이름의 뜻
- 다섯 입력과 두 기울기로 보는 출력
- 음수 신호의 기울기를 학습하는 순서
- PyTorch·Keras의 초기값과 계수 공유
- ReLU·Leaky ReLU·GELU와의 차이
- 모델 구조와 ONNX 이식의 체크리스트
- 계수 범위·정규화·실제 성능의 주의점
PReLU를 한 문장으로 정의하면 무엇인가요?
PReLU는 입력이 0 이상이면 원래 값을 출력하고 음수이면 학습 가능한 계수 a를 곱하는 원소별 활성화 함수입니다. 영문명은 Parametric Rectified Linear Unit이며 Parametric ReLU라고도 부릅니다. 여기서 Parametric은 함수의 음수 쪽 모양을 정하는 계수까지 학습한다는 뜻입니다.[1][2]
계산을 짧게 쓰면
max(0,x) + a * min(0,x)
입니다. 입력마다 해당 채널이나 공유 범위의 a를 사용합니다. 입력 배열의 각 값은 바뀌지만 배치 수·채널 수·공간 크기를 줄이거나 다른 위치로 옮기지는 않습니다.[2][5]
a는 앞선 합성곱 필터나 편향과는 별도의 값입니다. 다만 모델을 학습하고 저장할 때 함께 다루는 파라미터라는 점은 같습니다. 함수 이름만 기록하고 학습된 a를 빼놓으면 원본 모델의 변환을 재현하지 못합니다.[1][4]
한 줄 정리: PReLU는 음수 신호를 얼마나 통과시킬지 나타내는 기울기를 데이터에서 배웁니다.
쉬운 예시로 이해해 볼까요?
감자나라ai님이 설명용 입력
[-2,-1,0,1,2]
를 준비했다고 가정하겠습니다. 하나의 기울기 a를 모든 칸에서 공유하고 a를 0.25로 둡니다. 학습한 모델의 측정값이 아니라 계산 원리를 보려고 직접 정한 숫자입니다.
음수 두 칸은 각각
-2 * 0.25 = -0.5
,
-1 * 0.25 = -0.25
입니다. 0과 양수는 그대로이므로 출력은
[-0.5,-0.25,0,1,2]
입니다. 기울기가 0.25라는 사실이 양수 출력까지 4분의 1로 줄인다는 뜻은 아닙니다.
a를 0.5로 바꾸면 출력은
[-1,-0.5,0,1,2]
입니다. 음수 쪽만 달라집니다. a가 0이면 같은 입력에서 ReLU와 같은 출력이 나오고 a가 1이면 모든 입력을 그대로 보냅니다. 학습 가능한 함수를 골랐어도 특정 계수에서는 꺾임이 사라질 수 있습니다.[1]
채널별 계수도 살펴보겠습니다. 첫 채널의 입력
[-2,2]
에 a가 0.25, 둘째 채널의 같은 입력에 a가 0.5라면 출력은 각각
[-0.5,2]
,
[-1,2]
입니다. 두 채널에 하나의 계수를 공유하는 구성과 다릅니다. 채널마다 다른 가중치를 곱하는 앞선 층과도 별개로 기록합니다.
위 출력과 뒤의 학습 한 단계·배열 대응은 Python 표준 라이브러리의 분수 연산과 인덱스 계산으로 검산했습니다. PyTorch·Keras·ONNX 런타임을 실행한 결과, 이미지 분류기의 학습 성능이나 처리 속도 측정은 아닙니다.
쉬운 예시: 음수 신호가 지나는 길의 경사를 조절하는 다이얼입니다. 다이얼을 사람이 고정하는 방식과 학습으로 조정하는 방식을 구별합니다.
왜 AI에서 PReLU가 중요한가요?
활성화의 모양도 학습 대상이 됩니다
기존 활성화 함수 글은 중간 신호를 비선형으로 바꾸는 큰 역할을 설명합니다. PReLU에서는 앞뒤 층의 가중치뿐 아니라 음수 쪽 기울기도 조정합니다. 원 논문은 ReLU를 이런 학습형 함수로 확장하고 채널별 계수와 층 안에서 공유한 계수를 비교합니다.[1]
모델의 작은 계수도 재현에 영향을 줍니다
기울기 배열은 필터보다 작을 수 있어도 음수 입력의 출력을 직접 바꿉니다. 체크포인트를 불러오거나 모델을 옮길 때 누락된 a를 기본 초기값으로 다시 만들면 원본과 다른 모델입니다. 계수의 값·모양·적용 위치를 하나의 구성으로 관리합니다.[2][4][5]
핵심 인사이트: 파라미터가 적다는 설명과 그 값을 생략해도 된다는 판단은 다릅니다. 작은 계수도 실제 출력의 일부입니다.
PReLU는 어떤 순서로 작동하나요?
1. 입력과 기울기의 대응을 정합니다
앞선 층의 중간 텐서를 받고 각 원소가 어느 a를 사용할지 정합니다. 공유형이면 여러 채널·위치가 같은 a를 사용합니다. 채널별이면 한 채널의 공간 위치들이 같은 기울기를 공유합니다. 여러 값을 평균내는 단계나 채널끼리 합치는 단계는 없습니다.[1][2]
2. 부호에 따라 원소별 출력을 만듭니다
0 이상인 값은 그대로 두고 음수에만 대응 계수를 곱합니다. 양수 출력의 기울기는 1이고 0에서 떨어진 음수 구간의 입력 방향 기울기는 a입니다. a가 0이 아니면 그 음수 구간에서 입력 방향 기울기가 남지만 전체 신경망의 학습 문제까지 해결되는 것은 아닙니다.[1]
3. 학습 때 손실에서 계수의 기울기를 구합니다
음수 입력 x가 a에 주는 출력 변화율은 x입니다. 뒤에서 전달된 손실의 기울기를 곱하고 같은 a를 공유하는 위치들의 기여를 합칩니다. 원 논문은 역전파로 다른 층과 함께 학습한다고 설명합니다. 손실이 PReLU 안에 내장돼 있거나 a를 입력값의 평균으로 정하는 것은 아닙니다.[1]
교육용 한 단계에서는 x가 -2, 목표 출력이 -1, a가 0.25이고 손실을
0.5*(출력-목표)**2
로 둡니다. 현재 출력 -0.5, 손실 0.125이며 a의 기울기는 -1입니다. 학습률 0.1의 단순 갱신은
a = 0.25 - 0.1*(-1) = 0.35
입니다. 새 출력은 -0.7, 손실은 0.045입니다. 이 한 사례의 감소를 실제 모델의 수렴 보장으로 넓히지 않습니다.
실전 팁: 입력·적용한 a·출력·손실 기울기를 분리해 적어 보세요. 기울기 계수와 그 계수를 고치는 학습률이 다른 숫자임을 확인하기 쉽습니다.
주요 설정과 결과는 어떻게 읽나요?
PyTorch는 계수 수와 초기값을 지정합니다
확인한 PyTorch 2.15의
nn.PReLU(num_parameters=1, init=0.25)
는 모든 입력 채널에 계수 하나를 공유하는 기본 구성입니다. num_parameters는 1 또는 입력 채널 수여야 합니다. 채널은 두 번째 축이고 입력 차원이 2보다 작으면 채널 수를 1로 봅니다. 이미지의 너비를 채널 수로 오인하지 않습니다.[2]
Keras는 공유 축과 초기값을 따로 봅니다
Keras 3의 기본
alpha_initializer="Zeros"
는 계수를 0에서 시작합니다. PyTorch의 0.25와 다릅니다.
shared_axes=None
에서 실제 구현은 배치 축을 제외한 입력 모양으로 alpha를 만듭니다. 문서의 입력과 같은 모양이라는 짧은 설명을 배치마다 별도 계수가 생긴다는 뜻으로 읽지 않습니다.[3][4]
설명용 입력이
(배치,2,2,3)
이면 기본 alpha는
(2,2,3)
으로 계수 12개입니다.
shared_axes=[1,2]
이면 공간 축을 공유해 alpha 모양은
(1,1,3)
, 계수는 3개입니다. 이 경우 한 채널 안의 네 위치가 같은 값을 씁니다. 입력이 NHWC라는 가정이며 다른 축 순서에 그대로 복사하지 않습니다.[3][4]
ONNX는 slope 배열의 브로드캐스팅을 확인합니다
확인한 ONNX PRelu 규격 16은 입력 X와 기울기 slope를 받아 같은 크기의 Y를 만듭니다. slope가 X에 단방향 브로드캐스팅될 수 있어야 합니다. 이는 학습 방법을 실행한다는 설명이 아니라 저장된 배열로 원소별 계산을 표현하는 규칙입니다.[5]
단방향 브로드캐스팅은 작은 배열의 앞에 길이 1인 축을 보충하고 뒤쪽 축부터 맞춥니다. NCHW 입력에서 채널별 계수 C개를 표현하려면
(C,1,1)
같은 대응 모양을 확인합니다. 길이 C인 배열
(C,)
만 넘기면 마지막 너비 축에 맞으므로 채널별이라는 뜻이 자동으로 유지되지 않습니다.[6]
채널 수와 너비가 모두 2인 설명용 경우에는 잘못된
(2,)
도 크기 오류 없이 맞아들어갑니다. 모든 입력이 -2이고 계수가
[0.25,0.5]
라면 의도한 채널별 결과는 첫 채널의 모든 값 -0.5, 둘째 채널의 모든 값 -1입니다. 너비에 잘못 맞추면 두 채널 모두 가로로 -0.5·-1이 반복됩니다. 모양 검사만으로 놓치는 오류입니다.
반환값과 학습 상태를 나눕니다
PReLU의 출력은 변환된 텐서이며 별도 정답 라벨이나 확률이 아닙니다. 같은 입력과 같은 계수를 쓰면 이 함수는 같은 변환을 적용합니다. 추론만 한다면 저장한 a를 사용하며 새 입력이 왔다는 이유만으로 기울기를 자동 재학습하는 절차는 아닙니다.[2][4][5]
PReLU와 헷갈리는 용어는 무엇이 다른가요?
ReLU·Leaky ReLU와 계수 학습이 다릅니다
ReLU는 음수 출력을 0으로 만듭니다. Leaky ReLU는 음수에 작은 고정 기울기를 곱합니다. PReLU의 구별점은 그 기울기를 모델과 함께 학습한다는 것입니다. 어느 한 순간 두 기울기의 값이 같으면 출력도 같을 수 있지만 계수를 정하고 보관하는 절차까지 같은 것은 아닙니다.[1]
GELU·정규화와 계산 목적이 다릅니다
기존 GELU 글은 입력에 표준정규 누적확률을 곱하는 고정 곡선을 다룹니다. PReLU는 구간별 직선과 학습 계수로 음수 출력을 정합니다. 평균·분산을 계산해 특징을 맞추는 정규화와도 다른 단계입니다. 음수가 남는다는 공통점만으로 같은 계산이나 같은 출력 분포라고 판단하지 않습니다.
학습률·필터 가중치와 적용 위치가 다릅니다
a는 음수 입력에 곱하는 계수이고 학습률은 그 계수를 얼마나 갱신할지 정합니다. 합성곱 필터는 주변 위치와 채널의 값을 가중합으로 조합합니다. PReLU는 그 결과의 각 칸을 바꾸므로 한쪽의 설정만 다른 쪽의 값으로 대체할 수 없습니다.
비교 정리: ReLU는 음수 차단, Leaky ReLU는 고정 기울기, PReLU는 학습 기울기입니다. 함수의 출력과 학습 절차를 함께 비교합니다.
실전에서는 어디에 쓰이나요?
이미지 모델의 활성화 구성을 읽습니다
원 논문은 이미지 분류용 신경망에서 PReLU를 연구하고 정류형 활성화를 고려한 초기화도 함께 다룹니다. 논문의 전체 모델 결과를 기울기 하나만 바꾼 효과로 보고하지 않습니다. 자신의 영상 자료에서 같은 이득을 얻는지도 별도 실험으로 확인합니다.[1]
저장 모델의 누락과 축 오류를 점검합니다
모델을 이식할 때 alpha나 weight라는 이름의 작은 배열이 PReLU 계수인지 확인합니다. 필터를 옮겼어도 이 배열이 빠지거나 너비에 잘못 대응하면 음수 구간부터 값이 달라집니다. 중간 출력을 비교하는 검증 대상으로 쓰되 이 글의 계산을 실제 변환 성공 사례로 제시하지 않습니다.
PReLU를 적용할 때 어떤 순서로 확인하나요?
1. 원본 계수와 공유 범위를 기록합니다
모델에서 삽입한 위치, 입력 축, 계수 수·초기값·현재 값, 공유 축과 제약을 적습니다. 학습할 파라미터 목록에 포함됐는지와 저장·복원되는지도 확인합니다. 학습을 이어 간다면 옵티마이저 상태와 계수의 정규화 설정을 함께 남깁니다.
2. 음수·0·양수와 축 대응을 대조합니다
작은 배열에서 공유 계수와 채널별 계수를 비교합니다. 채널과 너비의 길이가 같은 경우도 시험하면 조용히 통과하는 브로드캐스팅 오류를 찾기 좋습니다. 출력 모양뿐 아니라 각 위치의 값과 적용한 계수를 대조하고 서로 다른 채널에 같은 숫자만 넣은 검사에 의존하지 않습니다.
3. 독립 자료의 품질과 비용을 비교합니다
후보 설정은 훈련·검증 자료를 나눈 뒤 고르고 최종 테스트는 선택이 끝날 때까지 남겨 둡니다. ReLU 기준 모델과 같은 조건에서 중요한 범주의 오류·지연 시간·메모리·저장 크기를 확인합니다. 계수 수가 작다는 이유만으로 정확도나 실행 시간 개선을 선언하지 않습니다.
사용할 때 무엇을 주의해야 하나요?
첫째, 계수를 확률 범위로 가정하지 않습니다. 원 논문은 a의 범위를 제한하지 않습니다. 제약을 별도로 걸지 않았다면 음수나 1보다 큰 값도 고려합니다. a가 -0.5일 때 입력 -2의 출력은 1입니다. 음수 입력이 언제나 음수로 남거나 전체 함수가 항상 증가한다고 설명하면 틀립니다.[1]
둘째, 기본 초기값이 다르다는 사실을 숨기지 않습니다. Keras에서 처음 ReLU와 같은 출력이 나와도 계수가 학습 대상으로 남아 있을 수 있습니다. 반대로 계수가 고정됐거나 학습 경로에서 빠졌다면 PReLU 층 이름만으로 기울기를 배우고 있다고 판정하지 않습니다.[2][3][4]
셋째, 모든 파라미터에 같은 정규화를 자동 적용하지 않습니다. PyTorch 문서와 원 논문은 a를 학습할 때 weight decay를 적용하지 않도록 안내합니다. 계수를 0 쪽으로 밀면 ReLU에 가까워집니다. Keras는 alpha_regularizer와 alpha_constraint를 별도로 받으므로 선택한 설정을 명시하고 그 효과를 검증합니다.[1][2][3]
넷째, 같은 초기화와 같은 학습 결과를 혼동하지 않습니다. 시작 기울기를 맞춰도 자료 순서·옵티마이저·전체 구조가 다르면 학습된 값은 달라질 수 있습니다. 함수를 바꾸거나 공유 범위를 바꾸는 일은 모델 변경으로 다루며 저장한 기존 계수를 임의의 기본값으로 덮어쓰지 않습니다.
주의: 기울기를 배웠는지, 원본 출력을 재현했는지, 업무 품질이 나아졌는지는 각각 확인합니다. 한 가지 산술 검사로 모두 통과했다고 보고하지 않습니다.
자주 묻는 질문
Q1. PReLU의 a는 학습률인가요?
아닙니다. 음수 입력에 곱하는 학습 계수입니다. 학습률은 손실의 기울기로 a를 갱신할 때 별도로 쓰는 설정입니다. 앞 예시에서도 a 0.25와 학습률 0.1은 다른 역할입니다.
Q2. 기울기 0.25는 모든 출력을 4분의 1로 줄이나요?
음수 쪽에만 적용합니다. 입력 2는 2로 남고 -2는 -0.5가 됩니다. PReLU 전체 결과에 0.25를 곱하는 연산과 다릅니다.
Q3. PReLU는 채널마다 반드시 계수 하나인가요?
구성에 따라 다릅니다. PyTorch 기본은 하나를 공유하고 채널별 구성을 선택할 수도 있습니다. Keras는 공유 축을 지정하지 않으면 배치 외 위치별 계수를 만드므로 입력 모양과 shared_axes를 함께 확인합니다.[2][4]
Q4. a는 항상 0과 1 사이인가요?
그 범위를 보장하지 않습니다. 원 논문은 범위 제약을 두지 않습니다. 구현에서 제약을 명시했는지 확인하고 음수 계수의 부호 반전이나 큰 계수의 증폭을 별도로 살핍니다.[1]
Q5. PyTorch와 Keras의 기본 PReLU는 같은가요?
기본 초기값과 공유 방식이 다릅니다. 같은 함수식이라도 입력 축·계수 모양·실제 값을 맞춘 뒤 출력을 비교합니다. 이름이 같다는 이유로 체크포인트 배열을 그대로 복사하지 않습니다.[2][3][4]
Q6. 추론할 때도 새 입력에서 기울기를 배우나요?
일반적인 추론은 저장한 계수로 값을 변환합니다. 학습하려면 손실·역전파·갱신 경로가 필요합니다. PReLU를 넣었다는 사실만으로 배포 뒤의 자동 적응이나 지속 학습이 생기지는 않습니다.[1][4]
출처
마무리
PReLU는 양수 신호는 그대로 보내고 음수 신호에 곱할 기울기를 모델과 함께 학습하는 활성화 함수입니다. 고정 기울기의 Leaky ReLU와 구별하고 계수를 공유하는 범위까지 확인하면 파라미터 수와 출력의 차이를 이해하기 쉽습니다.
처음에는 다섯 숫자에서 기울기만 바꿔 보세요. 실제 모델에서는 초기값·공유 축·저장 계수를 기록하고 다른 환경으로 옮긴 뒤 작은 배열의 위치별 출력을 대조합니다. 그다음 독립 자료의 업무 오류와 전체 실행 비용을 비교하는 순서가 좋습니다.
