깊게, 더 깊게

더 깊게 쌓았더니 더 못해졌다

2012년, AlexNet이 8층으로 ImageNet을 박살냄. 다들 당연하게 생각함 — 더 깊게 쌓으면 더 잘하겠지.

근데 56층이 20층보다 학습 오차조차 더 높았음.과적합 아님. 훈련 데이터에서마저 못함.

층이 깊어질수록 기울기가 앞쪽 층까지 못 가고 소실됨. 깊이는 무기였지만 동시에 저주였음.

배우지 못하면, 건너뛰게 하라

2015년, ResNet의 발상은 충격적으로 단순함.변환을 통째로 배우기 어렵다면, 입력을 그대로 더해주고 차이만 배우게 하자.

기존 층은 목표 함수 H(x)를 통째로 배워야 했음. ResNet은 이걸 F(x) + x로 바꿈. 층은 잔차(residual) F(x) = H(x) − x만 배우면 됨.

이 지름길(skip connection) 하나로 기울기가 뒤에서 앞으로 끊김 없이 흐름. 덕분에 152층 ResNet이 처음으로 사람 인식 오류율(5%)을 넘어섬.

단 한 줄, 더하기

오른쪽에서 직접 만져 봄. 깊이를 늘리고 지름길을 끄면 앞쪽 층 기울기가 0으로 소실됨. 지름길을 켜면 152층에서도 기울기가 살아남음.

핵심은 마지막 한 줄, out + identity임. 블록은 입력 x를 받아 합성곱 두 번 거치고, 그 출력에 원래 입력을 그대로 더함. 이게 전부임.

차원이 안 맞으면(채널 수나 해상도가 변하면) 지름길에 1×1 합성곱 끼워 맞춤. 변환은 최소로, 정보는 최대로 보존하는 설계임.

class ResBlock(nn.Module):
    def forward(self, x):
        identity = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = F.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out = out + identity   # 지름길
        return F.relu(out)

1×1 합성곱과 배치 정규화

깊은 CNN을 떠받치는 두 기둥이 더 있음 —1×1 합성곱과 배치 정규화(BatchNorm)임.

1×1 합성곱은 공간은 안 보고 채널끼리만 섞는 것.256채널을 64채널로 줄였다가(병목) 연산 끝낸 뒤 다시 256채널로 펼침. 표현력은 그대로인데 연산량은 확 줄어듦. ResNet-50의 핵심 트릭임.

왜 BatchNorm인가

각 층의 입력 분포는 학습 도중 계속 흔들림. BatchNorm은 미니배치마다 출력을 평균 0, 분산 1로 다시 맞추는 것. 덕분에 큰 학습률 써도 안정적이고 수렴이 몇 배 빨라짐.

처음부터 만들지 마세요

실무에서 CNN을 바닥부터 학습시키는 일은 거의 없음. 대부분 전이학습(Transfer Learning)으로 시작함.

ImageNet 1,400만 장으로 미리 학습된 ResNet의 앞쪽 층은 동결함.모서리·질감 같은 보편적 특징은 이미 완성돼 있음. 그리고 뒤쪽 층과 분류기만 내 데이터로 미세조정함.

사진 수백 장만 있어도 90% 정확도 불량 검출기를 하루 만에 만듦. 데이터가 적을수록 전이학습의 가치는 커짐.