사전 학습(Pre-training)이란? AI가 먼저 넓게 배우는 단계

TL;DR

사전 학습(Pre-training)은 AI 모델을 큰 데이터셋으로 처음 훈련해 언어·이미지 같은 데이터의 넓은 패턴과 재사용 가능한 표현을 익히게 하는 초기 학습 단계입니다. 이렇게 만든 사전 학습 모델은 그대로 쓰기도 하지만, 특정 업무에 맞게 파인튜닝하거나 전이 학습의 출발점으로 활용할 수 있습니다. 다만 사전 학습을 많이 했다는 사실만으로 답변의 정확성, 최신성, 공정성이나 안전성이 보장되지는 않습니다.

핵심 3줄 요약

• 핵심 1
  사전 학습은 모델이 특정 업무를 맡기 전에 큰 데이터에서 기본 패턴을 배우는 첫 학습 단계입니다. 언어 모델은 토큰의 관계와 문맥을, 이미지 모델은 형태와 질감 같은 시각 패턴을 익힐 수 있습니다.
• 핵심 2
  사전 학습과 파인튜닝은 순서와 목적이 다릅니다. 사전 학습이 넓은 기반을 만들면 파인튜닝은 더 작은 업무 데이터로 그 기반을 특정 용도에 맞게 조정합니다.
• 핵심 3
  사전 학습 모델은 완성품이나 사실 데이터베이스가 아닙니다. 데이터 출처, 학습 시점, 평가 결과, 라이선스와 실제 업무 성능을 따로 확인해야 합니다.

이 글에서 다룰 내용

사전 학습을 한 문장으로 정의하면 무엇인가요?

사전 학습은 AI 모델을 특정 업무에 맞게 조정하기 전에 큰 데이터셋으로 먼저 훈련해, 여러 작업에 다시 쓸 수 있는 기본 패턴과 내부 표현을 만들게 하는 초기 학습 과정입니다. Google의 머신러닝 용어집도 사전 학습을 큰 데이터셋에서 수행하는 모델의 초기 학습으로 정의합니다.

모델은 학습 데이터를 문장이나 이미지 그대로 보관하는 방식으로만 작동하지 않습니다. 훈련 과정에서 예측이 틀린 정도를 계산하고, 그 오차를 줄이도록 수많은 가중치를 조정합니다. 언어 모델이라면 앞뒤 문맥이나 다음 토큰을 예측하는 과정에서 단어와 문장 구조의 통계적 관계를 배울 수 있습니다. 이미지 모델이라면 물체의 경계, 질감과 형태를 구분하는 표현을 배울 수 있습니다.

이 과정이 끝나면 사전 학습 모델(Pre-trained Model)이 남습니다. Google 용어집에서 이 표현은 대개 훈련을 마친 대규모 언어 모델이나 다른 생성형 AI 모델을 가리킵니다. 사전 학습은 과정, 사전 학습 모델은 결과물이라고 구분해 두면 문서를 읽기 쉬워집니다.

한 줄 정리: 사전 학습은 AI가 한 가지 업무를 배우기 전에 큰 데이터에서 넓은 기본기를 익히는 첫 훈련입니다.

쉬운 예시로 이해해 볼까요?

감자나라ai님이 고객 문의를 분류하는 AI를 준비한다고 가정해 보겠습니다. 처음부터 회사 문의 몇천 건만 보여 주며 언어 구조까지 모두 배우게 하면 데이터도 부족하고 훈련 비용도 큽니다.

사전 학습 모델은 이미 큰 도서관을 읽고 온 신입 직원과 비슷합니다. 직원은 회사의 환불 규정이나 상품명을 아직 모르지만, 문장 구조와 일반 어휘, 질문과 답변의 관계는 어느 정도 익혔습니다. 여기에 회사의 문의 유형과 좋은 답변 예시를 추가로 가르치면 업무에 더 빨리 적응할 수 있습니다.

AI에서는 큰 텍스트 데이터로 언어의 넓은 패턴을 먼저 학습한 뒤, 고객 문의 분류 데이터로 파인튜닝하거나 프롬프트와 검색 도구를 붙이는 흐름에 해당합니다. 처음의 넓은 학습이 사전 학습이고, 회사 업무에 맞춘 추가 조정이 파인튜닝입니다.

다만 도서관을 많이 읽었다고 모든 책의 문장을 정확히 기억하거나 최신 회사 규정을 아는 것은 아닙니다. 사전 학습 모델도 비슷합니다. 학습 데이터에 없던 최신 정보, 특정 조직의 내부 규칙, 정확한 숫자와 출처가 필요한 질문은 별도 자료와 검증이 필요합니다.

쉬운 예시: 사전 학습은 넓은 교양을 먼저 쌓는 과정이고, 파인튜닝은 실제 맡을 업무를 위한 직무 교육에 가깝습니다.

사전 학습은 왜 중요한가요?

첫째, 한 번 배운 표현을 여러 작업의 출발점으로 쓸 수 있습니다. 텍스트의 문법과 문맥, 이미지의 윤곽과 질감처럼 여러 업무에 공통으로 필요한 패턴을 먼저 익히면 새 작업마다 모델을 처음부터 만들 필요가 줄어듭니다.

둘째, 업무별 데이터가 적을 때 도움이 됩니다. TensorFlow는 큰 데이터셋에서 훈련된 모델이 일반적인 시각 특징을 익혔다면, 작은 새 데이터셋에서도 그 특징을 가져와 분류기를 만들거나 일부 층을 조정할 수 있다고 설명합니다. 이 재사용은 전이 학습의 핵심입니다.

셋째, 범용 모델과 AI 제품의 기반을 이해하게 해줍니다. Google 용어집은 파운데이션 모델을 매우 크고 다양한 데이터에서 사전 학습해 여러 요청에 대응하고 추가 조정의 기반으로 쓸 수 있는 모델로 설명합니다. 사전 학습을 알면 베이스 모델, 파운데이션 모델과 파인튜닝의 관계를 구분하기 쉬워집니다.

넷째, 모델 이름에 붙은 표현을 읽을 수 있습니다. GPT는 Generative Pre-trained Transformer의 줄임말입니다. 여기서 Pre-trained는 특정 사용자의 질문을 받기 전에 이미 큰 데이터로 학습됐다는 뜻입니다. 사용 중 대화 한 번이 곧바로 모델 전체의 사전 학습을 다시 진행한다는 의미는 아닙니다.

다섯째, 모델 선택과 위험 검토의 출발점이 됩니다. 어떤 데이터와 학습 목표를 썼는지, 어느 시점까지 학습했는지, 어떤 평가를 통과했는지는 모델의 강점과 한계를 이해하는 중요한 단서입니다.

핵심 인사이트: 사전 학습의 가치는 모델 하나를 완성하는 데만 있지 않습니다. 넓게 배운 표현을 여러 제품과 업무에서 다시 쓰게 만드는 공통 출발점이라는 데 있습니다.

사전 학습은 어떤 순서로 진행되나요?

1. 학습 목표와 데이터 범위를 정합니다

모델이 어떤 입력을 다룰지, 어떤 능력을 먼저 익혀야 할지 정합니다. 언어 모델이라면 텍스트와 코드, 이미지 모델이라면 사진과 설명처럼 목적에 맞는 데이터를 준비합니다. 데이터 수집 권한, 개인정보, 중복, 유해 콘텐츠와 언어·지역별 대표성도 함께 점검해야 합니다.

2. 데이터를 모델이 읽을 형태로 바꿉니다

텍스트는 토크나이저로 작은 토큰 단위로 나눕니다. 이미지는 정한 크기와 숫자 범위로 변환할 수 있습니다. 같은 원본이라도 전처리와 토크나이저가 다르면 모델이 보는 입력 구조가 달라집니다.

3. 스스로 정답을 만들 수 있는 학습 과제를 둡니다

대규모 데이터에 사람이 모든 정답을 붙이기는 어렵습니다. 그래서 언어 모델은 다음 토큰을 예측하거나 일부 가린 토큰을 맞히는 식의 자기지도학습 과제를 자주 사용합니다. Hugging Face의 언어 모델 학습 예시는 BERT 계열 모델이 가린 토큰을 예측하는 방식으로 처음부터 학습되는 흐름을 보여 줍니다.

4. 오차를 줄이며 가중치를 조정합니다

모델이 낸 예측과 학습 목표를 비교해 손실을 구하고, 역전파와 옵티마이저로 가중치를 수정합니다. 이 과정을 많은 데이터와 반복 단계에 걸쳐 수행합니다. 모델 규모와 데이터가 커질수록 필요한 연산 자원, 시간과 에너지도 커질 수 있습니다.

5. 체크포인트를 저장하고 평가합니다

학습 중간 상태를 체크포인트로 저장하고, 학습에 쓰지 않은 평가 데이터로 능력과 오류를 확인합니다. 언어 이해, 생성 품질, 안전성, 편향, 개인정보 노출과 특정 업무 성능은 서로 다른 평가가 필요합니다.

6. 필요하면 후속 학습과 제품 단계를 이어 갑니다

사전 학습을 마친 모델은 파인튜닝, 지시 튜닝, 선호도 조정, 지식 증류 같은 후속 절차를 거칠 수 있습니다. Google 용어집은 사전 학습 뒤에 파인튜닝, 지시 튜닝, 매개변수 효율 튜닝과 증류 등을 적용할 수 있다고 안내합니다.

실전 팁: 모델 설명서를 볼 때는 “사전 학습됐다”는 문장만 확인하지 말고 데이터 범위, 학습 목표, 기준 시점, 평가 결과와 후속 조정 절차를 함께 찾으세요.

헷갈리는 용어와 차이는 무엇인가요?

사전 학습과 사전 학습 모델

사전 학습은 큰 데이터로 처음 훈련하는 과정입니다. 사전 학습 모델은 그 과정을 마친 결과물입니다. 하나는 학습 단계이고 다른 하나는 저장된 모델 상태입니다.

사전 학습과 파인튜닝

사전 학습은 넓고 큰 데이터에서 일반 패턴을 배우는 초기 단계입니다. 파인튜닝은 사전 학습 모델을 특정 과제나 사용 사례에 맞게 추가로 훈련하는 두 번째 단계입니다. Google 문서는 파인튜닝을 사전 학습 모델의 매개변수를 특정 용도에 맞게 다듬는 작업으로 설명합니다.

사전 학습과 전이 학습

전이 학습은 한 작업이나 데이터에서 배운 모델의 표현을 새 작업에 재사용하는 전략입니다. 사전 학습은 재사용할 기반 모델을 만드는 과정이 될 수 있습니다. 사전 학습 모델을 가져와 특징 추출이나 파인튜닝에 쓰는 것이 전이 학습의 대표적인 형태입니다.

사전 학습 모델과 파운데이션 모델

사전 학습 모델은 먼저 학습을 마친 모델이라는 넓은 표현입니다. 파운데이션 모델은 매우 크고 다양한 데이터로 사전 학습되어 여러 작업과 제품의 기반이 될 수 있는 범용 모델을 가리킵니다. 모든 파운데이션 모델은 사전 학습 모델로 볼 수 있지만, 작은 특정 분야 모델까지 모두 파운데이션 모델이라고 부르지는 않습니다.

사전 학습과 처음부터 학습

처음부터 학습(Training from Scratch)은 기존 모델 가중치를 불러오지 않고 초기값에서 훈련을 시작한다는 뜻입니다. 새로운 모델을 처음부터 큰 데이터로 훈련한다면 그 과정이 곧 사전 학습일 수 있습니다. 반대로 기존 사전 학습 모델을 가져와 조정하면 처음부터 학습하는 것이 아닙니다.

사전 학습과 프롬프트 사용

프롬프트는 이미 학습된 모델에 현재 작업의 지시와 맥락을 제공하는 입력입니다. 프롬프트를 바꿔도 보통 모델의 사전 학습 가중치가 다시 만들어지지는 않습니다. 대화 안에서 예시를 주는 것과 모델 자체를 사전 학습하는 일은 규모와 작동 방식이 다릅니다.

비교 정리: 사전 학습은 기반을 만드는 첫 훈련, 파인튜닝은 특정 목적의 추가 훈련, 전이 학습은 배운 표현을 옮겨 쓰는 전략, 프롬프트는 실행할 때 주는 입력입니다.

AI 제품과 업무에서는 어떻게 쓰이나요?

생성형 AI 모델을 이해할 때

챗GPT, Gemini, Claude와 여러 오픈 모델의 설명에는 사전 학습, 베이스 모델, 파운데이션 모델, 후속 학습이라는 표현이 함께 등장합니다. 사용자는 이 용어를 통해 모델이 일반 능력을 익힌 단계와 제품 정책이나 지시 따르기를 조정한 단계를 구분할 수 있습니다.

분야별 모델을 만들 때

법률, 의료, 제조나 금융처럼 전문 용어가 많은 분야에서는 범용 사전 학습 모델을 그대로 평가한 뒤, 필요한 경우 분야 데이터로 추가 학습하거나 검색 시스템을 연결할 수 있습니다. 어떤 방법이 맞는지는 데이터 양, 변경 주기, 검증 책임과 비용에 따라 달라집니다.

이미지 분류와 문서 처리에 쓸 때

큰 이미지 데이터에서 학습된 모델을 가져와 상품 사진, 불량품, 문서 유형을 분류하는 데 쓸 수 있습니다. TensorFlow의 전이 학습 예시는 ImageNet으로 사전 학습된 MobileNetV2를 새 이미지 분류 작업의 기반으로 사용합니다.

모델 허브에서 가중치를 고를 때

모델 저장소의 pretrained, base, checkpoint, from_pretrained 같은 표현은 이미 학습한 가중치를 불러온다는 뜻으로 쓰입니다. 모델 카드에서 학습 데이터, 라이선스, 입력 형식, 의도한 용도와 제한을 확인한 뒤 사용해야 합니다.

직접 모델을 훈련할지 결정할 때

기존 사전 학습 모델이 업무에 맞는다면 처음부터 훈련하는 것보다 시간과 자원을 줄일 수 있습니다. 반대로 데이터 언어, 도메인이나 라이선스 조건이 맞지 않으면 별도 사전 학습이나 계속 학습을 검토할 수 있습니다. 이 결정은 작은 실험과 평가를 먼저 거치는 편이 안전합니다.

실전 팁: 사전 학습 모델을 비교할 때는 매개변수 수만 보지 말고 지원 언어, 입력 형식, 학습 데이터 공개 범위, 라이선스, 모델 카드와 업무별 평가 결과를 표로 정리하세요.

사용할 때 무엇을 주의해야 하나요?

첫째, 사전 학습은 사실 검증을 대신하지 않습니다. 모델은 데이터의 통계적 패턴을 학습합니다. 정확한 출처가 필요한 숫자, 최신 정책, 의료·법률 판단은 공식 자료를 다시 확인해야 합니다.

둘째, 학습 시점과 데이터 범위를 확인합니다. 사전 학습 뒤에 생긴 사건이나 조직 내부 정보는 모델이 알지 못할 수 있습니다. 검색, RAG나 최신 데이터 연결이 필요해도 연결 결과를 다시 검증해야 합니다.

셋째, 데이터 편향과 대표성을 살핍니다. 언어, 지역, 집단과 분야가 학습 데이터에서 적게 다뤄지면 성능 차이가 생길 수 있습니다. 전체 평균만 보지 말고 실제 사용자 집단과 실패 유형별 결과를 확인합니다.

넷째, 개인정보와 기밀을 구분합니다. 사전 학습 데이터의 수집·정제 절차가 공개됐는지 확인하고, 민감한 업무 데이터를 추가 학습에 쓸 때는 보존 기간, 접근 권한과 삭제 절차를 먼저 정합니다.

다섯째, 저작권과 라이선스를 확인합니다. 모델 가중치가 공개됐다고 학습 데이터나 생성 결과를 아무 조건 없이 상업적으로 쓸 수 있다는 뜻은 아닙니다. 모델 카드와 라이선스, 데이터 사용 조건을 각각 읽어야 합니다.

여섯째, 큰 모델이 항상 업무에 더 좋은 것은 아닙니다. 모델 크기와 사전 학습 데이터가 커져도 지연 시간, 비용, 개인정보 처리와 특정 업무 정확도가 기대와 다를 수 있습니다. 같은 평가셋과 운영 조건에서 비교합니다.

일곱째, 사전 학습과 제품 업데이트를 같은 뜻으로 보지 않습니다. 앱의 기능이 업데이트되거나 검색 도구가 연결돼도 기반 모델의 사전 학습이 새로 진행됐다고 단정할 수 없습니다. 모델 버전과 제품 릴리즈 설명을 따로 확인합니다.

주의: “대규모 데이터로 사전 학습했다”는 문장은 품질 보증서가 아닙니다. 데이터·목표·평가·라이선스와 실제 사용 환경을 확인해야 모델의 적합성을 판단할 수 있습니다.

자주 묻는 질문

Q1. 사전 학습은 AI가 인터넷을 그대로 외우는 과정인가요?

그렇게 단순화하면 안 됩니다. 모델은 학습 예시에서 예측 오차를 줄이며 가중치를 조정하고 통계적 패턴을 배웁니다. 일부 내용을 재현할 가능성은 따로 점검해야 하지만, 모든 문서를 정확한 데이터베이스처럼 저장하고 검색하는 구조와는 다릅니다.

Q2. 사전 학습을 마치면 바로 챗봇으로 쓸 수 있나요?

항상 그렇지는 않습니다. 사전 학습 모델은 문장을 이어 쓰는 기본 능력이 있어도 사용자의 지시를 안정적으로 따르거나 안전 정책에 맞게 응답하도록 추가 조정되지 않았을 수 있습니다. 파인튜닝, 지시 튜닝, 안전 평가와 제품 설계가 더 필요할 수 있습니다.

Q3. 파인튜닝과 사전 학습 중 무엇이 더 비싼가요?

일반적으로 대규모 모델의 사전 학습은 큰 데이터와 많은 연산 자원이 필요해 파인튜닝보다 비용이 큽니다. 다만 실제 비용은 모델 크기, 데이터 양, 학습할 매개변수 범위, 하드웨어와 학습 시간에 따라 달라집니다.

Q4. 사전 학습 모델을 쓰면 우리 회사 데이터를 자동으로 아나요?

아닙니다. 공개되거나 사전 학습에 포함됐다고 확인되지 않은 내부 문서와 최신 규칙은 자동으로 알지 못합니다. 회사 데이터를 쓰려면 검색 연결, RAG, 파인튜닝이나 별도 도구를 검토하고 권한과 개인정보를 관리해야 합니다.

Q5. 사전 학습과 자기지도학습은 같은 말인가요?

같은 말은 아닙니다. 사전 학습은 학습 순서와 역할을 가리키고, 자기지도학습은 데이터 자체에서 학습용 정답 신호를 만드는 방법입니다. 많은 언어 모델이 사전 학습에 자기지도학습을 쓰지만, 모든 사전 학습이 한 가지 학습 방식으로만 이뤄지는 것은 아닙니다.

출처

마무리

사전 학습은 AI 모델을 큰 데이터로 먼저 훈련해 여러 작업에 재사용할 수 있는 기본 패턴과 표현을 익히게 하는 초기 단계입니다. 학습 과정과 결과물인 사전 학습 모델을 구분하고, 파인튜닝·전이 학습·파운데이션 모델과의 관계를 이해하면 AI 모델 설명을 훨씬 정확하게 읽을 수 있습니다.

감자나라ai님이 사전 학습 모델을 업무에 검토한다면 “얼마나 큰 모델인가”보다 “무엇으로 먼저 배웠고, 우리 업무에서 어떻게 평가됐는가”를 먼저 확인해 보세요. 데이터 범위, 학습 시점, 라이선스, 후속 조정과 실제 오류 사례를 함께 봐야 적합한 모델을 고를 수 있습니다.

다음에 함께 보면 좋은 용어는 파인튜닝(Fine-tuning), 전이 학습(Transfer Learning), 파운데이션 모델(Foundation Model), 자기지도학습(Self-supervised Learning)입니다.