기억하는
게이트

왜 RNN은 잊어버릴까

RNN은 같은 셀을 시간축으로 반복해 펼친 구조다. 이 반복이 함정이다.

역전파는 시간을 거슬러 가며(BPTT) 같은 가중치 W를 계속 곱한다. W가 1보다 작으면 신호가 0으로 꺼진다(vanishing). 1보다 크면 무한히 터진다(exploding). 50 스텝 전 단어의 영향력은 사실상 0이 된다.

그래서 1990년대 RNN은 "나는 프랑스에서 자랐다 ... 그래서 나는 ___를 유창하게 한다" 같은 빈칸을 못 채웠다. 정답 프랑스어의 단서가 너무 멀리 있었다.

컨베이어 벨트와 세 개의 게이트

1997년, Hochreiter와 Schmidhuber가 낸 답이다. 기억 전용 고속도로를 하나 깔자는 것이다.

LSTM에는 셀 상태 cₜ라는 컨베이어 벨트가 흐른다. 정보는 이 벨트 위에서 거의 변형 없이 멀리 간다. 무엇을 올리고 내릴지는 세 게이트가 정한다.

• 망각 게이트 fₜ는 벨트에서 무엇을 지울지 정한다
• 입력 게이트 iₜ는 새 정보를 얼마나 올릴지 정한다
• 출력 게이트 oₜ는 벨트에서 무엇을 꺼낼지 정한다

각 게이트는 sigmoid라 출력이 0에서 1 사이다. 0이면 닫히고 1이면 열린다. 이 곱셈 하나가 기억을 살리고 죽인다.

덧셈이 기울기를 살린다

LSTM의 핵심은 게이트가 아니다. 셀 상태를 곱하지 않고 더한다는 점이다.

업데이트 식은 cₜ = fₜ · cₜ₋₁ + iₜ · c̃ₜ이다. 망각 게이트가 1에 가까우면 이전 기억이 거의 그대로 다음으로 흐른다. 역전파할 때 이 경로의 기울기는 곱셈이 아니라 덧셈으로 누적된다. 그래서 멀리까지 안 죽고 전달된다.

# LSTM 한 스텝 (numpy 직관)
f = sigmoid(x @ Wf + h @ Uf)   # 망각
i = sigmoid(x @ Wi + h @ Ui)   # 입력
o = sigmoid(x @ Wo + h @ Uo)   # 출력
g = tanh(x @ Wg + h @ Ug)      # 후보 기억

c = f * c_prev + i * g         # 덧셈! 기울기 고속도로
h = o * tanh(c)                # 다음 hidden

이 한 줄 c = f * c_prev + i * g가 vanishing gradient 문제의 우회로다.

GRU, 게이트를 둘로 줄이다

2014년, Cho 연구팀이 물었다. 게이트가 정말 셋이나 필요한가.

GRU는 셀 상태와 hidden을 하나로 합친다. 게이트도 둘로 줄인다. 리셋 게이트는 과거를 얼마나 무시할지 정한다. 업데이트 게이트는 새 정보와 옛 정보를 얼마나 섞을지 정한다.

파라미터가 약 25% 적어 더 빠르다. 데이터가 적을 때 과적합도 덜하다. 성능은 작업에 따라 LSTM과 엎치락뒤치락한다. 그래서 실무 규칙은 간단하다. 일단 GRU로 시작하고 모자라면 LSTM으로 간다.

게이트가 남긴 유산

2014~2017년, 거의 모든 번역기와 음성인식, 챗봇의 심장은 LSTM이었다. 구글 번역도 2016년에 LSTM으로 갈아탔다.

LSTM의 교훈은 분명하다. 긴 맥락이 가치를 만드는 곳이 있다. 고객 상담 히스토리, 시계열 수요 예측, 장비 로그 이상 탐지가 그렇다. 이런 곳에서 "방금 본 것"만 보는 모델은 돈을 놓친다. 기억의 길이가 곧 정확도였다.

하지만 LSTM도 한 번에 한 스텝씩만 처리한다. 순차 처리라 느리다. 아주 긴 맥락은 여전히 버겁다. 이 한계가 다음 챕터 Attention을 부른다.