깊게, 더 깊게

더 깊게 쌓았더니 더 못해졌다

2012년, AlexNet이 8층으로 ImageNet을 제패했다. 더 깊게 쌓으면 더 잘하리라는 기대가 자연스러웠다.

그런데 56층이 20층보다 학습 오차조차 더 높았다.과적합이 아니다. 훈련 데이터에서마저 성능이 안 나온다.

층이 깊어질수록 기울기가 앞쪽 층까지 가지 못하고 소실되기 때문이다.

배우지 못하면, 건너뛰게 하라

2015년, ResNet의 발상은 충격적으로 단순하다.변환을 통째로 배우기 어렵다면, 입력을 그대로 더해주고 차이만 배우게 하자.

기존 층은 목표 함수 H(x)를 통째로 배워야 했다. ResNet은 이걸 F(x) + x로 바꿨다. 층은 잔차(residual) F(x) = H(x) − x만 배우면 된다.

이 지름길(skip connection) 하나로 기울기가 뒤에서 앞으로 끊김 없이 흐른다. 덕분에 152층 ResNet이 처음으로 사람 인식 오류율(5%)을 넘어섰다.

단 한 줄, 더하기

깊이를 늘리고 지름길을 끄면 앞쪽 층 기울기가 0으로 소실되고, 지름길을 켜면 152층에서도 기울기가 살아남는다.

핵심은 마지막 한 줄, out + identity다. 블록은 입력 x를 받아 합성곱을 두 번 거친 뒤 그 출력에 원래 입력을 그대로 더한다.

차원이 안 맞으면(채널 수나 해상도가 변하면) 지름길에 1×1 합성곱을 끼워 맞춘다. 변환은 최소로, 정보는 최대로 보존하는 설계다.

class ResBlock(nn.Module):
    def forward(self, x):
        identity = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = F.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out = out + identity   # 지름길
        return F.relu(out)

1×1 합성곱과 배치 정규화

깊은 CNN을 떠받치는 두 기둥이 더 있다.1×1 합성곱과 배치 정규화(BatchNorm)다.

1×1 합성곱은 공간은 안 보고 채널끼리만 섞는다.256채널을 64채널로 줄였다가(병목) 연산을 끝낸 뒤 다시 256채널로 펼친다. 표현력은 그대로인데 연산량은 확 줄어든다. ResNet-50의 핵심 트릭이다.

왜 BatchNorm인가

각 층의 입력 분포는 학습 도중 계속 흔들린다. BatchNorm은 미니배치마다 출력을 평균 0, 분산 1로 다시 맞춘다. 덕분에 큰 학습률을 써도 안정적이고 수렴이 몇 배 빨라진다.

처음부터 만들지 마세요

실무에서 CNN을 바닥부터 학습시키는 일은 거의 없다. 대부분 전이학습(Transfer Learning)으로 시작한다.

ImageNet 1,400만 장으로 미리 학습된 ResNet의 앞쪽 층은 동결한다.모서리나 질감 같은 보편적 특징은 이미 완성돼 있다. 그리고 뒤쪽 층과 분류기만 내 데이터로 미세조정한다.

사진 수백 장만 있어도 정확도 90% 불량 검출기를 하루 만에 만든다. 데이터가 적을수록 전이학습의 가치는 커진다.