MLP와 역전파

XOR이 남긴 빚

Day 1: 퍼셉트론은 직선 하나밖에 못 그음. 그래서 XOR 못 풂.

퍼셉트론은 w·x + b 한 줄이 전부임. 출력이 입력의 선형 결합이라, 가중치를 바꿔도 평면을 직선으로 자르는 게 한계임. XOR은 대각선으로 떨어진 두 무리라 직선 한 개로 못 가름.

1969년, 민스키·페퍼트가 이 한계를 책으로 증명함. 그 한 권 때문에 신경망은 10년 넘게 겨울을 맞음. 해법은 단순함 — 뉴런을 한 층 더 쌓는 것. 중간층이 입력을 비선형으로 휘어주면, 안 갈라지던 게 갈라짐.

층을 쌓는다는 것

MLP(Multi-Layer Perceptron)는 퍼셉트론을 여러 층 쌓은 것임. 입력층 / 은닉층 / 출력층. 각 층 뉴런은 앞 층 전부와 연결됨.

핵심은 층 사이에 끼우는 활성화 함수임. 선형 변환만 쌓으면 백 층을 쌓아도 결국 한 줄짜리 선형 변환과 똑같아짐. 그래서 매 층 뒤에 σ(z) 같은 비선형을 넣어 “휘어줌”.

왜 이게 전부를 바꾸나

비선형 은닉층이 하나만 있어도 MLP는 임의의 연속 함수를 원하는 만큼 가깝게 흉내 냄. 이걸 보편 근사 정리라 함. 직선밖에 못 긋던 기계가 어떤 곡선이든 그릴 수 있게 된 것임.

순전파 — 신호가 흐른다

입력 x가 들어오면 각 층은 “곱하고 더하고 휘는” 일을 반복함. 이걸 순전파(forward pass)라 함.

한 층 계산은 딱 두 줄임.z = W·x + b로 선형 결합을 만듦.a = σ(z)로 비선형을 입힘. 이 출력 a가 다음 층 입력이 되어 똑같이 반복됨.

오른쪽은 2-3-1 MLP가 XOR 4개 점을 배우는 실제 학습임. ▶ 재생을 누르면 순전파→손실→역전파→보정 사이클이 돌며 결정 경계가 직선에서 휜 곡선으로 바뀜. 학습률 η와 초기값 seed를 바꿔가며 직접 굴려보자.

import numpy as np

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

def forward(x, W1, b1, W2, b2):
    z1 = W1 @ x + b1     # 은닉층 가중합
    a1 = sigmoid(z1)     # 비선형 활성화
    z2 = W2 @ a1 + b2    # 출력층 가중합
    return sigmoid(z2)   # 최종 예측

역전파 — 오차를 거꾸로

답을 냈으면 얼마나 틀렸는지 따져야 함. 정답과의 차이가 손실(loss)임. 문제는 “이 손실을 줄이려면 수만 개 가중치를 각각 어느 방향으로 얼마나 움직이나”임.

가중치 하나씩 흔들면 영원히 안 끝남.역전파는 이걸 단 한 번의 역방향 패스로 해결함. 비결은 미적분의 연쇄 법칙임. 출력단 오차를 층을 거꾸로 타고 곱해 내려보내면, 각 가중치가 손실에 얼마나 기여했는지(∂L/∂w)가 자동으로 나옴.

한 사이클

순전파로 예측 → 손실 계산 → 역전파로 기울기 → w ← w − η·∂L/∂w로 살짝 보정. 이 사이클을 수천 번 돌리면 네트워크가 “학습”됨. 1986년, 럼멜하트·힌튼이 이걸 대중화함. 신경망의 겨울 끝.

가중치가 내려간다

역전파가 “어느 방향”을 알려주면, 경사 하강은 “그 방향으로 한 걸음” 내딛음. 손실이라는 골짜기를 더듬어 내려감. 한 걸음 크기가 η, 학습률임.

너무 크면 골짜기를 뛰어넘어 발산함. 너무 작으면 평생 못 내려옴. 그래서 학습률은 실무에서 가장 먼저 만지는 손잡이임. 다음 Day 3에서 이 손잡이들(활성화·손실·옵티마이저)을 제대로 다룸.

비즈니스로 옮기면

역전파는 “결과의 오차를 원인까지 거꾸로 분배하는” 기계임. 매출이 떨어졌을 때 그 책임을 가격·마케팅·재고에 비례 배분해 다음 분기 액션을 조정하는 일과 구조가 같음. 좋은 의사결정도 결국 오차를 원인으로 되돌리는 루프임.