GELU란? AI에서 가우시안 누적확률로 중간 신호의 크기를 조절하는 활성화 함수
TL;DR
GELU는 입력값에 표준정규분포의 누적확률을 곱해 신호의 크기를 조절하는 활성화 함수입니다. 음수를 모두 0으로 자르지 않고 작은 음수 출력도 남깁니다. 확률을 계산에 쓰지만 최종 출력이 정답 확률인 것은 아닙니다. 기본 정의와 tanh 근사, BERT 구현과 프레임워크 설정을 구별하고 함수 이름만으로 성능 향상이나 같은 계산을 보장하지 않습니다.[1][2][4][6]
핵심 3줄 요약
- 핵심 1
입력마다 연속적인 비율을 곱합니다. 표준정규분포의 누적확률을 가중 비율로 쓰며 값의 부호만으로 켜고 끄지 않습니다. - 핵심 2
음수 출력과 1보다 큰 출력도 나옵니다. 누적확률과 그 확률을 입력에 곱한 결과를 다른 숫자로 읽습니다. - 핵심 3
기본 계산과 근사를 따로 확인합니다. 같은 GELU라는 이름이라도 근사 방식과 수치 정밀도가 다르면 값이 조금 달라집니다.
이 글에서 다룰 내용
- GELU의 한 문장 정의와 이름의 뜻
- 다섯 숫자로 보는 입력·누적확률·출력
- 신경망에서 쓰는 이유와 원소별 작동 순서
- 기본 정의·tanh 근사와 프레임워크 설정
- ReLU·SiLU·드롭아웃·정규화와의 차이
- BERT 구조와 모델 이식의 점검 순서
- 확률 해석·근사 오차·모델 변경의 주의점
GELU를 한 문장으로 정의하면 무엇인가요?
GELU는 각 입력 x에 표준정규분포의 누적분포값을 곱하는 원소별 비선형 함수입니다. 영문명은 Gaussian Error Linear Unit이며 가우시안 오차 선형 유닛이라고 풀어 쓸 수 있습니다. 여기서 오차는 모델이 틀린 정도를 재는 손실이 아니라 계산에 쓰이는 오차 함수 erf와 연결된 이름입니다.[1][3][5]
원 논문은 기본 정의를
GELU(x) = x * Phi(x)
로 둡니다.
Phi(x)
는 평균 0·분산 1인 정규분포에서 x 이하인 구간의 확률입니다. 같은 식을
0.5 * x * (1 + erf(x / √2))
로 계산합니다. 별도의 데이터 묶음에서 평균과 분산을 추정한 뒤 그 분포를 매번 새로 만드는 절차는 아닙니다.[1][3]
GELU에는 보통 학습할 필터나 추가 계수가 없습니다. 앞선 선형 층이 만든 값에 고정된 곡선을 적용합니다. 같은 유한 입력에 같은 방식으로 계산하면 같은 값을 내므로 매번 동전을 던져 신호를 없애는 연산으로 이해하지 않습니다.[1][2]
한 줄 정리: GELU는 입력값에 따라 통과 비율을 연속적으로 바꿉니다. 비율에 확률을 쓴다는 사실과 모델이 정답 확률을 출력한다는 해석은 구분합니다.
쉬운 예시로 이해해 볼까요?
감자나라ai님이 설명용 중간 신호
[-2,-1,0,1,2]
를 준비했다고 가정하겠습니다. 이 숫자는 고객 문의의 확률이나 실제 모델의 학습 결과가 아닙니다. 소수점 아래 여섯 자리로 반올림해 기본 GELU 계산을 살펴봅니다.
입력 -2의 누적확률은 약 0.022750이므로 출력은 -0.045500입니다. 입력 -1에서는 약 0.158655를 곱해 -0.158655가 됩니다. 음수 입력의 크기가 작아졌지만 두 결과 모두 음수입니다. ReLU가 두 입력을 모두 0으로 만드는 경우와 다릅니다.
입력 0은 누적확률이 0.5여도 출력은 0입니다. 입력 1은 약 0.841345, 입력 2는 약 1.954500이 됩니다. 최종 출력 배열은
[-0.045500,-0.158655,0,0.841345,1.954500]
입니다. 각 칸은 다른 칸과 합이 1이 되도록 조정되지 않습니다.
음수 쪽의 순서도 눈여겨보세요. 입력이 -2에서 -1로 커졌는데 출력은 약 -0.045500에서 -0.158655로 더 작아집니다. GELU 전체가 항상 증가하는 함수는 아니라는 간단한 반례입니다. 부드러운 곡선이라는 성질과 단조 증가는 같은 조건이 아닙니다.
위 숫자와 뒤의 근사 비교는 Python 표준 라이브러리의 math.erf·math.tanh로 직접 검산한 교육용 산술입니다. PyTorch·TensorFlow·ONNX 런타임을 실행한 결과나 BERT의 성능 실험은 아닙니다. 실제 텐서에서는 자료형과 실행 방식에 따라 마지막 자릿수가 달라질 수 있습니다.
쉬운 예시: 입력마다 크기가 다른 조절 다이얼을 곱한다고 생각하면 됩니다. 다이얼 값은 0과 1 사이지만 조절 뒤의 신호가 확률 범위에 묶이지는 않습니다.
왜 AI에서 GELU가 중요한가요?
모델 내부의 비선형 계산을 구체적으로 읽습니다
활성화 함수라는 큰 개념을 알더라도 실제 값이 어떻게 바뀌는지는 함수마다 다릅니다. GELU는 0 근처에서 급하게 잘라내는 대신 연속적인 비율로 입력을 줄입니다. 모델 구조를 읽을 때 앞의 선형 계산과 뒤의 비선형 변환을 나누어 보면 중간 신호의 뜻을 더 정확히 파악합니다.[1][3]
같은 모델을 재현할 때 계산 변형을 확인합니다
Google Research의 BERT 공식 코드는 숨은 활성화의 기본 이름을 gelu로 두며, 해당 함수 안에서는 tanh 근사를 사용합니다. PyTorch GELU의 기본 근사 설정과는 다릅니다. 체크포인트를 다른 코드로 옮길 때 이름만 같다고 계산까지 일치한다고 판단하면 작은 차이를 놓칩니다.[2][6]
핵심 인사이트: GELU를 썼다는 설명 다음에는 어느 정의·근사·자료형으로 계산했는지 확인합니다. 함수 선택과 모델 품질은 따로 평가합니다.
GELU는 어떤 순서로 작동하나요?
1. 앞선 층의 중간값을 받습니다
가중치와 편향을 적용한 텐서가 입력이 될 수 있습니다. 이 단계의 값은 음수와 양수를 포함합니다. GELU 자체가 토큰을 읽거나 새로운 문장을 생성하는 것은 아닙니다. 앞뒤 층의 계산을 포함한 전체 모델 안에서 숫자를 변환하는 한 단계입니다.[4][6]
2. 각 값에서 누적확률을 계산합니다
입력 칸마다 표준정규분포의 누적확률을 구합니다. 다른 칸의 최댓값이나 평균을 찾아 순위를 매기지 않습니다. 같은 x라면 다른 표본과 묶어 넣어도 이 함수의 수학적 변환은 같습니다. 실제 배치의 분포가 정규분포인지 검사하거나 강제로 맞추는 연산도 아닙니다.[1][5]
3. 원래 값과 비율을 곱합니다
구한 비율을 해당 입력에 곱하고 원래 위치에 결과를 기록합니다. PyTorch 문서는 임의 차원 입력과 같은 모양의 출력을 안내하며 ONNX도 원소별 적용을 명시합니다. 채널을 합치거나 순서를 바꾸거나 토큰 수를 줄이는 연산과 구별합니다.[2][5]
실전 팁: 작은 배열에서 입력·누적확률·곱한 결과를 세 칸으로 나눠 적어 보세요. 확률이 0.5인 입력 0의 출력이 왜 0인지 바로 확인할 수 있습니다.
주요 설정과 결과는 어떻게 읽나요?
PyTorch는 문자열로 근사 방식을 고릅니다
확인한 PyTorch 2.15의
torch.nn.GELU(approximate="none")
이 기본 구성입니다.
approximate="tanh"
를 지정하면 tanh 기반 근사를 씁니다. none은 수학적 정의의 계산 경로를 고른다는 의미이며 컴퓨터에서 무한 정밀도로 모든 실수를 표현한다는 보장은 아닙니다.[2]
TensorFlow와 Keras는 불리언 설정을 씁니다
TensorFlow의
tf.nn.gelu(x, approximate=False)
와 Keras의
keras.activations.gelu(x, approximate=False)
는 근사 여부를 불리언으로 받습니다. TensorFlow는 입력을 부동소수점 텐서로 요구하고 같은 자료형을 반환한다고 명시합니다. PyTorch의 문자열을 그대로 불리언 자리로 옮기지 않습니다.[3][4]
tanh 근사는 비슷해도 같은 식은 아닙니다
대표 근사는
0.5*x*(1+tanh(√(2/pi)*(x+0.044715*x**3)))
입니다. 입력 1에서 기본 정의는 약 0.841345, 이 근사는 약 0.841192입니다. 반올림 전 절대 차이는 약 0.000153입니다. 이 한 지점의 차이가 전체 구간의 최대 오차나 모델 정확도 차이는 아닙니다.[1][2][5]
근사를 택하는 이유에는 계산 비용도 있지만 특정 장치에서 더 빠른지는 직접 측정할 문제입니다. 함수만 따로 재는 시간과 전체 모델의 지연 시간도 다릅니다. 코드의 근사 옵션을 바꿨다는 사실만으로 같은 비율의 처리량 개선을 보고하지 않습니다.
ONNX에서는 연산 규격과 속성을 함께 봅니다
확인한 ONNX Gelu는 연산 규격 버전 20부터 제공되며
approximate="none"
과
approximate="tanh"
를 구분합니다. 기본은 none입니다. 허용 자료형은 bfloat16·float16·float·double 계열입니다. 이 규격의 존재가 모든 배포 런타임의 지원을 보장하지는 않으므로 실제 내보낸 그래프와 실행 환경을 확인합니다.[5]
GELU와 헷갈리는 용어는 무엇이 다른가요?
ReLU·시그모이드·SiLU와 계산이 다릅니다
ReLU는 기본적으로 음수를 0으로 자르고 양수를 그대로 보냅니다. 시그모이드는 값을 0과 1 사이로 바꾸지만 GELU는 누적확률에 입력을 한 번 더 곱합니다. SiLU는 입력에 시그모이드를 곱하므로 비슷한 곡선이어도 표준정규 누적확률을 쓰는 GELU와 같은 함수는 아닙니다.[1][3]
드롭아웃은 무작위 마스크를 적용합니다
원 논문은 입력값에 의존하는 확률적 마스크의 기대 변환으로 GELU를 설명합니다. 그러나 실제 GELU 함수는 그 기대값을 계산하며 마스크 표본을 매번 새로 뽑지 않습니다. 일반 드롭아웃의 무작위 제거·학습 모드 동작을 GELU에 그대로 옮기지 않습니다. 둘을 함께 쓰는 구조도 가능합니다.[1][6]
정규화·손실 함수와 역할이 다릅니다
GELU는 텐서의 각 값을 곡선으로 변환합니다. 평균·분산을 조정하는 정규화나 정답과 예측의 차이를 계산하는 손실과는 다른 단계입니다. 가우시안이라는 이름만으로 출력이 평균 0·분산 1이 된다거나 정규분포를 따른다고 해석하지 않습니다. 분류 확률을 만들려는 출력 설계도 별도로 확인합니다.[1][3]
비교 정리: GELU는 누적확률을 곱한 신호, SiLU는 시그모이드를 곱한 신호, 드롭아웃은 무작위 마스크를 적용한 신호입니다. 이름이나 출력 모양의 유사성보다 계산 규칙을 봅니다.
실전에서는 어디에 쓰이나요?
BERT의 중간 층을 읽습니다
BERT 공식 구현에서는 어텐션 출력을 받는 중간 밀집 층에 활성화를 적용하고, 다음 층에서 숨은 크기로 다시 투영합니다. GELU는 이 중간 변환을 읽는 데 등장합니다. 어텐션의 확률 가중치나 단어 정답 확률과 같은 숫자로 보지 않습니다. 모든 Transformer가 같은 활성화를 쓴다는 뜻도 아닙니다.[6]
체크포인트 이식과 수치 차이를 점검합니다
원본 모델과 옮긴 모델의 중간 출력을 비교할 때 GELU 전후를 따로 저장하면 차이가 시작되는 위치를 좁히기 좋습니다. 먼저 입력이 같은지 확인하고 근사 방식과 자료형을 대조합니다. 그 뒤 최종 예측의 변화를 확인합니다. 이는 작성자의 검증 제안이며 실제 변환 도구를 실행한 결과는 아닙니다.
GELU를 적용할 때 어떤 순서로 확인하나요?
1. 삽입 위치와 원본 설정을 적습니다
어느 선형 층 뒤인지, 앞뒤에 정규화·드롭아웃·잔차 연결이 있는지 확인합니다. 원본 체크포인트의 함수 이름과 실제 구현을 함께 기록하고 라이브러리 버전·근사·자료형을 남깁니다. 같은 가중치를 불러온 상태에서 활성화를 바꾸는 일은 계산 구조의 변경입니다.
2. 작은 수치와 여러 모양으로 대조합니다
음수·0·양수를 포함한 작은 입력으로 기본 정의와 근사를 비교합니다. 각 칸의 값과 텐서 모양이 모두 맞는지 확인하세요. 출력 차이의 허용 범위는 자료형과 실제 입력 범위를 고려해 정하고, 일부 값이 같다는 이유만으로 전체 모델의 동등성을 선언하지 않습니다.
3. 최종 품질과 전체 비용을 비교합니다
후보 활성화는 같은 자료 분리와 학습 조건에서 비교하고 최종 테스트는 설정 선택 뒤에 남겨 둡니다. 오분류 유형·손실·지연 시간·메모리를 함께 확인합니다. 작은 산술 예시나 원 논문의 특정 과제 결과를 새로운 고객 자료의 성능 향상으로 보고하지 않습니다.
사용할 때 무엇을 주의해야 하나요?
첫째, 출력을 확률로 읽지 않습니다. 앞 예시의 1.954500은 정상적인 신호값입니다. 음수도 허용되고 여러 출력의 합이 1일 필요도 없습니다. 누적확률과 활성화 결과를 같은 열에 저장하거나 임계값 0.5를 임의의 정답 판정 기준으로 쓰지 않습니다.
둘째, 부드러운 곡선이 모든 기울기 문제를 없애지는 않습니다. 음수의 큰 절댓값 영역에서 출력이 0에 가까워지는 것과 학습 중 모든 층이 충분한 신호를 받는지는 별개입니다. 학습 안정성은 초기화·정규화·학습률·전체 구조까지 함께 점검합니다.
셋째, 기본 정의와 근사를 섞어 재현하지 않습니다. 원본 BERT 코드의 GELU는 tanh 근사라는 사실을 확인했습니다. 다른 함수의 기본값으로 교체하면 이름은 같아도 계산은 달라집니다. 모델을 옮긴 뒤 단일 함수의 오차와 최종 업무 결과를 각각 검증합니다.[2][6]
넷째, 학습된 모델의 함수를 가볍게 바꾸지 않습니다. GELU 자체에 학습 계수가 없더라도 앞뒤 가중치는 그 변환을 거치며 학습됐습니다. 추론 때 ReLU 등으로 대체하는 일은 성능이 유지되는 단순 최적화로 취급하지 않으며 재학습·검증 필요성을 따로 판단합니다.
주의: 함수의 정의가 맞는지, 원본 계산을 재현했는지, 업무 성능이 좋은지는 다른 질문입니다. 하나를 확인한 결과로 세 항목을 모두 통과했다고 보고하지 않습니다.
자주 묻는 질문
Q1. GELU는 음수를 모두 0으로 만드나요?
아닙니다. 기본 계산에서 입력 -1의 출력은 약 -0.158655입니다. 음수의 크기를 줄이지만 ReLU처럼 모든 음수 입력을 정확히 0으로 자르는 규칙은 아닙니다.
Q2. 가우시안이라는 말은 입력을 정규화한다는 뜻인가요?
표준정규분포의 누적확률을 함수 계산에 사용한다는 뜻입니다. 배치의 평균·분산을 추정하거나 출력 분포를 정규분포로 바꾸는 절차는 포함하지 않습니다.[1][3]
Q3. 누적확률이 0.5면 출력도 0.5인가요?
입력 0에서 누적확률은 0.5지만 둘을 곱한 출력은 0입니다. 입력을 다시 곱한다는 단계를 빠뜨리지 않습니다. 최종 GELU 값은 정답 확률이 아닙니다.
Q4. GELU는 학습할 때마다 무작위로 달라지나요?
이 함수 자체는 정해진 입력에 결정적인 변환을 적용합니다. 같은 모델 안의 드롭아웃이나 다른 난수 요인 때문에 전체 출력이 달라지는 상황과 구별합니다.[1][6]
Q5. 기본 정의와 tanh 근사는 완전히 같나요?
같지 않습니다. 입력 1의 교육용 계산에서도 약 0.000153의 차이가 있었습니다. 실제 재현에서는 근사 설정과 자료형을 같이 기록하고 허용 오차와 최종 예측을 따로 확인합니다.
Q6. GELU로 바꾸면 ReLU보다 항상 좋아지나요?
원 논문은 다룬 실험 과제에서의 비교 결과를 제시합니다. 그 결과가 모든 모델·자료·장치에 적용되는 보장은 아닙니다. 같은 조건의 학습·검증과 실제 실행 비용으로 선택합니다.[1]
출처
마무리
GELU는 입력값에 표준정규분포의 누적확률을 곱해 중간 신호의 크기를 조절하는 활성화 함수입니다. 음수 출력과 1보다 큰 출력도 가능하며 확률을 계산에 쓴다고 정답 확률을 반환하지는 않습니다. 원소별 변환이므로 입력 모양은 유지합니다.
처음에는 작은 숫자의 입력·누적확률·출력을 나누어 확인하세요. 실제 모델에서는 기본 정의와 tanh 근사, 삽입 위치와 원본 체크포인트의 설정을 함께 봅니다. 같은 함수 이름보다 실제 계산과 최종 업무의 오류를 대조하는 것이 중요합니다.
