정답 없이
배우는 법

정답이 없는 세상

머신러닝은 세 형제다. 지도학습은 (x, y) 정답 쌍을 먹는다. 비지도학습은 x만 보고 숨은 구조를 찾는다. 강화학습은 먹는 것이 다르다.

에이전트가 받는 것은 정답이 아니라 스칼라 보상하나다. 점수, 클릭률, 이익 같은 숫자 한 개다. "정답이야"가 아니라 "이번엔 +10점"이라고만 알려준다.

RL만 시간을 정면으로 다룬다. 오늘 행동이 내일 상태를 바꾼다. 바뀐 상태가 또 미래 보상을 바꾼다. 이 순차적 의사결정 구조가 RL을 어렵게 만든다.

MDP와 Bellman 방정식

강화학습 문제는 거의 다 MDP로 표현된다. 다섯 글자 (S, A, P, R, γ)는 각각 상태, 행동, 전이확률, 보상, 할인율이다.

핵심은 Markov 속성이다. 현재 상태 sₜ만 알면 미래 예측에 과거는 필요 없다. 체스 판 현재 배치만 보면 다음 수를 두기에 충분한 것과 같다. 할인율 γ는 "미래 100만원은 오늘 얼마냐"의 NPV 계산과 수학적으로 같다.

1957년, Bellman이 한 가지를 관찰했다. 현재 가치 = 즉각 보상 + γ × 다음 상태의 가치. 이 재귀식 덕분에 모르는 미래의 Q를 현재 추정값으로 대체해 학습한다. 이것이 부트스트래핑의 씨앗이다.

Q-Learning 업데이트 한 줄

전이 확률 P는 몰라도 된다. 경험 (s, a, r, s')만 모아서 Q값을 고치면 된다. 1989년, Watkins가 이 model-free 학습을 증명했다.

읽는 법은 한 문장이다. "현재 Q 추정값을, 새로 관측한 즉각 보상 + 할인된 다음 최대 Q 방향으로 조금(α) 당겨라." 부정확한 Q로 또 다른 Q를 고친다. 그래도 수학적으로 최적 Q*로 수렴이 보장된다.

# Q-Learning 한 스텝
# eps-greedy 행동 선택
if random() < epsilon:
    a = random_action()
else:
    a = argmax(Q[s])

s2, r, done = env.step(a)

# TD target / error
target = r + gamma * max(Q[s2])
Q[s][a] += alpha * (target - Q[s][a])
s = s2

max(Q[s2])가 off-policy의 핵심이다. 실제로 한 행동이 아니라 다음 상태의 가상의 최선을 가정해서 배운다.

탐색과 활용의 딜레마

슬롯머신 10대가 있고, 당첨 확률은 모른다. 1000번 당길 돈으로 어떤 전략을 쓸 것인가. 한 번 이긴 슬롯에 다 걸면 진짜 최고 슬롯을 평생 못 찾는다.

답은 ε-greedy다. ε 확률로 모험(탐색), 1−ε 확률로 최선(활용)을 택한다. 실전은 decaying ε이다. 초반엔 1.0으로 마구 탐색하고, 후반엔 0.01로 줄인다. 단, ε=0은 금물이다. 완전한 확신은 학습을 멈춘다.

인생의 메타 알고리즘이기도 하다. 새 식당과 단골집, 이직과 안정, 신사업과 주력 사이의 선택이 그렇다. 교훈은 하나다. 젊을 땐 ε을 크게 잡고, 시간이 갈수록 줄여라.

Q-table이 폭발하면

Tic-Tac-Toe는 상태가 약 5,478개라 Q-table로 완벽하게 학습된다. 학습 후 AI는 절대 지지 않는다. 그런데 체스는 10⁴⁷, 바둑은 10¹⁷⁰이다. 테이블로는 우주의 메모리를 다 써도 담을 수 없다.

여기서 딥러닝이 들어온다. 비슷한 상태는 비슷한 Q값을 가진다고 가정한다. 그러면 Q(s,a) ≈ f_θ(s,a)처럼 신경망이 근사한다. 이것이 내일 Day 14 DQN의 철학이다. 추천(Netflix), 동적 가격(Uber 서지), A/B 테스트(Thompson Sampling), ChatGPT의 RLHF까지, 전부 오늘 배운 "시행착오로 행동을 교정한다"는 원리 위에 서 있다.