21장. 다음 단어의 기적 — LLM 사전학습
이 장의 질문: "다음 단어 맞추기"라는 시시한 목표가 어떻게 번역·코딩·추론 능력이 되는가? 거대 언어 모델의 학습 재료와 절차, 스케일링의 법칙, 그리고 능력과 한계가 어디서 오는지를 원리로 이해한다.
전제: 1장(자기지도), 5장(교차 엔트로피, 온도), 18장(GPT의 정의).
시시한 목표의 비밀
18장에서 GPT를 정의했다 — 인과 마스크를 쓴 Transformer 디코더로
이 목표가 왜 시시하지 않은지, 예문 하나로 보자. 다음 빈칸을 잘 맞추려면 무엇이 필요한가.
"1969년 인류 최초로 달에 발을 디딘 우주비행사는 ___"
사실 지식이 필요하다. 다음은?
"따라서 x² − 5x + 6 = 0의 두 근은 ___"
대수를 풀어야 한다. 그리고:
"def fibonacci(n):\n if n < 2:\n return ___"
코드의 의미를 알아야 한다. 마지막으로:
"그는 우산을 두고 나갔고, 오후에 비가 쏟아졌다. 집에 돌아온 그의 옷은 ___"
인과 추론이 필요하다.
인터넷은 이런 문장으로 가득하다. 수조 개의 빈칸을 낮은 손실로 채우는 유일한 길은, 문장을 생산한 세계의 구조 — 사실, 논리, 문법, 코드의 규칙, 사람의 심리 — 를 파라미터 안에 압축해 두는 것뿐이다. "다음 단어 예측"은 목표의 외양일 뿐, 그 목표를 잘 달성하기 위해 모델이 내부에 세워야 하는 것은 세계의 모형이다. 1장의 자기지도 아이디어 — 정답표 없이 데이터 스스로 정답이 되게 하라 — 가 인터넷 규모에서 만개한 것이 LLM이다.
한 가지 정직한 각주. 이 압축은 "이해"와 얼마나 같고 다른가는 열린 질문이다. 확실한 것은, 이 기계가 훈련 텍스트의 통계적 구조를 극도로 정교하게 학습한다는 사실이며, 그 능력과 한계 양쪽이 모두 이 사실에서 도출된다는 것이다.
재료: 데이터
사전학습 데이터는 웹 크롤, 책, 논문, 코드 저장소, 백과사전 등을 모아 수조 토큰 규모로 만든다. 여기서 실무의 교훈 두 가지가 나온다.
품질이 양을 이긴다. 웹은 대부분 쓰레기다 — 광고, 중복, 기계 생성 스팸, 깨진 텍스트. 중복 제거, 품질 분류기로 걸러내기, 개인정보 삭제 같은 정제 단계가 모델 성능을 크게 좌우하며, 최고 수준 모델들의 차이는 아키텍처보다 데이터 정제 노하우에서 나오는 경우가 많다. 8장에서 배운 "틀린 사례를 읽어라"의 규모 확대판이다.
데이터 구성이 능력의 지도다. 코드를 많이 넣으면 코딩과 논리적 추론이 좋아지고, 특정 언어 텍스트가 적으면 그 언어에서 약하다(16장의 토큰화 문제와 겹쳐 한국어 같은 언어는 이중 불이익을 받는다). 모델의 "성격"은 상당 부분 데이터 배합표다.
법칙: 키우면 예측 가능하게 좋아진다
LLM 시대를 연 발견은 어떤 알고리즘이 아니라 경험 법칙이었다. 파라미터 수, 데이터 양, 계산량을 늘리면 손실이 거듭제곱 법칙을 따라 매끄럽게 줄어든다 — 로그-로그 그래프에서 직선이다. 이것이 스케일링 법칙(scaling laws)이다.
이 법칙의 파괴력은 예측 가능성에 있다. 10배 큰 모델을 훈련하기 전에 성적을 미리 계산할 수 있으니, 수천억 원짜리 훈련에 투자할 근거가 생긴다. 그리고 두 번째 발견 — 주어진 계산 예산에서 모델 크기와 데이터 양은 함께 키워야 최적이며(대략 파라미터 1개당 토큰 20개 안팎), 한때의 거대 모델들은 데이터에 비해 지나치게 컸었다는 것. 오늘날 "더 작은 모델을 훨씬 더 많은 데이터로" 훈련하는 추세는 이 계산에서 나왔다. 4장의 교훈 — 큰 용량은 큰 데이터가 떠받쳐야 한다 — 의 정량판이다.
여기에 흥미로운 현상이 겹친다. 손실은 매끄럽게 내려가는데, 특정 능력은 어느 규모를 넘어야 갑자기 나타나는 것처럼 보인다 — 몇 자리 산수, 다단계 추론, 그리고 무엇보다 문맥 내 학습(in-context learning): 프롬프트에 예시 몇 개를 보여주면 가중치 갱신 없이 그 패턴을 따라 새 입력을 처리하는 능력이다. 5장까지의 학습은 전부 경사하강이었는데, 충분히 큰 모델은 순전파만으로 "즉석에서 배우는" 흉내를 낸다. 이 창발이 진짜 불연속인지 측정 방식의 착시인지는 논쟁이 있지만, 실용적 결론은 분명하다 — 규모는 새로운 사용법을 연다. 프롬프트로 모델을 "프로그래밍"하는 시대(23장)가 여기서 열렸다.
능력의 뿌리에서 한계의 뿌리로
같은 원리가 한계도 설명한다. 이 부분을 이해하면 LLM을 맹신도 폄하도 하지 않게 된다.
환각. 모델은 "참인 문장"이 아니라 "그럴듯한 다음 토큰"을 배웠다. 훈련 텍스트에서 자신감 있고 유창한 문장이 보상받았으니, 모르는 질문에도 형식적으로 완벽한 오답을 유창하게 만든다. 거짓말이 아니라 — 참/거짓을 검증하는 장치가 목표 안에 없었을 뿐이다. 이 뿌리를 알면 처방도 보인다: 근거 문서를 제공하거나(23장의 RAG), "모른다"고 말하도록 별도로 가르치거나(22장), 출력을 외부에서 검증하거나(24장).
지식의 마감일. 파라미터에 압축된 세계는 훈련 데이터가 수집된 시점에서 멈춰 있다. 그 이후의 사실은 모른다 — 이것도 RAG와 도구 사용(24장)이 메우는 구멍이다.
추론의 취약함. 텍스트의 통계 구조를 배웠으므로, 훈련 분포에서 흔한 형태의 추론은 강하고 낯선 형태는 약하다. "단계별로 생각해 보자"라고 시키면 성적이 오르는 현상(사고 연쇄)은, 중간 단계를 토큰으로 써 내려가는 것이 모델에게는 계산 자원을 늘려 주는 효과가 있기 때문이다 — 한 토큰에 한 번의 순전파라는 구조적 제약(18장) 안에서, 긴 추론은 긴 출력을 통해서만 가능하다. 최신 모델들이 답하기 전에 "생각하는 토큰"을 길게 생성하도록 훈련되는 이유가 이것이다.
훈련의 현실: 공학의 정점
수천억 파라미터를 수조 토큰으로 학습시키는 것은 이 책의 학습 루프(11장)를 수천 개의 GPU에 걸쳐 돌리는 일이다. 모델 하나가 GPU 한 장에 안 들어가니 층을 여러 장치에 나누고(파이프라인 병렬), 한 층의 행렬조차 쪼개고(텐서 병렬), 데이터 배치를 장치마다 나눈 뒤 기울기를 합친다(데이터 병렬). 어텐션의 길이 제곱 비용(17장)을 메모리 접근을 최소화하는 커널로 눌러야 하고(FlashAttention), 혼합 정밀도로 메모리를 반으로 줄이며, 몇 달간 하드웨어 고장 없이 돌아가도록 체크포인트를 관리한다. 여기서 세부를 다 익힐 필요는 없다 — 다만 LLM 훈련의 난이도는 알고리즘이 아니라 시스템 공학에 있다는 것, 그리고 그 뿌리는 여전히 2장의 네 박자 루프라는 것을 기억하라.
수준을 낮춰 이 모든 것을 체감하는 길이 있다 — 코드랩 09에서 만든 미니 GPT에 텍스트를 더 먹이며 손실 곡선이 로그 축에서 어떻게 떨어지는지, 모델을 4배 키우면 어디까지 좋아지는지 직접 재 보라. 스케일링 법칙의 미니어처가 당신 노트북에서 재현된다.
핵심 요약
- 사전학습 = 방대한 텍스트에서 다음 토큰의 교차 엔트로피 최소화. 이 목표를 잘 달성하려면 세계의 구조(사실·논리·코드·심리)를 압축해야 하므로, 시시한 목표가 광범위한 능력을 낳는다.
- 데이터는 품질이 양을 이기고, 배합이 능력을 정한다. 스케일링 법칙: 규모를 키우면 손실이 거듭제곱 법칙으로 예측 가능하게 감소하며, 모델과 데이터는 함께 키워야 한다.
- 규모는 문맥 내 학습 같은 새 사용법을 연다. 그러나 같은 원리가 한계도 낳는다 — 환각(그럴듯함 ≠ 참), 지식 마감일, 분포 밖 추론의 취약함. 각 한계에는 뒤 장들의 처방이 대응된다.
- LLM 훈련의 난이도는 시스템 공학이지만, 뿌리는 2장의 학습 루프다.
스스로 점검
- "다음 토큰 예측이 세계 모형을 요구한다"를 본문 예문 외의 새 예문 두 개로 보여 보라.
- 파라미터 1개당 토큰 20개 규칙에 따르면, 700억 파라미터 모델의 적정 데이터 규모는? 이 숫자를 위키백과(수십억 토큰)와 비교해 감을 잡아 보라.
- 환각이 "거짓말"이 아닌 이유를 학습 목표의 관점에서 설명하고, 뒤 장의 처방 셋을 예측해 보라.
- "단계별로 생각하라"가 성능을 올리는 이유를, "한 토큰 = 한 번의 순전파"라는 제약과 연결해 설명해 보라.
다음 장에서
사전학습을 마친 모델은 강력하지만 야생마다 — 질문에 질문으로 답하고, 위험한 요청에 순순히 응하며, 형식도 제멋대로다. 이 야생마를 "도움이 되고, 정직하고, 무해한" 조수로 길들이는 과정 — 지시 튜닝과 인간 피드백 강화학습(RLHF) — 이 다음 장이다. ChatGPT와 GPT-3의 차이가 정확히 여기에 있다.