오늘 끝나면
능동학습
- ✓능동학습의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 능동학습이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
다음 실험을 가장 정보가 큰 쪽으로 고르기 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
Autonomous Lab · 09
능동
학습
예산은 한정돼 있어 모든 실험을 다 할 순 없다.
한정된 예산은 가장 많이 배우는 쪽, 가장 모르는 쪽에 쓴다.
다음 실험을 똑똑하게 고른다
능동학습(active learning)은 다음에 측정할 점을 모델이 직접 고르는 방식이다.
클로즈드 루프는 가설에서 실험, 측정, 분석을 거쳐 다음 가설로 돈다.
이 강은 그중 “다음 실험을 어디서 할까”를 정하는 칸이다.
가능한 실험 후보 중 정보 이득이 가장 큰 점을 고른다.
모델이 가장 헷갈려 하는 곳을 측정하면 한 번 측정으로 가장 많이 배운다.
이미 잘 아는 곳을 또 재는 건 예산 낭비다.
막대가 가장 높은 후보가 이번에 측정할 점이다
불확실한 곳을 먼저 측정한다
정보가 가장 큰 곳은 모델이 가장 자신 없는 곳이다.
대리모델(surrogate)은 측정점 사이를 추정해 곡선과 불확실성 밴드를 그린다.
측정점 위에선 밴드가 0이고, 측정점에서 멀수록 밴드가 넓어진다.
밴드가 가장 넓은 곳이 곧 모델이 가장 모르는 곳이다.
그 자리를 측정하면 밴드가 확 좁아지고 곡선이 바로잡힌다.
이미 좁은 곳을 또 재면 거의 안 변한다. 새로 얻는 정보가 없기 때문이다.
그래서 능동학습은 매번 “지금 가장 안 보이는 빈칸”을 콕 찌른다.
밴드가 가장 넓은 곳을 재면 가장 많이 좁아진다
무작위·전수보다 훨씬 효율적이다
전수 측정이나 무작위 대신 굳이 고르는 이유가 있다.
전수 탐색(grid)은 격자의 모든 점을 다 측정한다. 정확하지만 비싸다.
조건이 5개이고 각각 10단계면 조합이 10만 개다. 실물 실험으론 불가능하다.
무작위는 싸지만 빈 곳과 겹친 곳이 운에 맡겨진다.
능동학습은 빈 곳을 먼저 메우니 같은 횟수로 곡선을 더 빠르고 고르게 맞춘다.
실험 횟수와 시약, 장비 시간을 아껴 자원을 절약한다.
능동학습 vs 무작위, 직접 겨뤄보기
같은 시드로 출발한 두 전략을 같은 횟수만큼 키워 비교한다.
점선은 숨은 진짜 곡선이다. 두 패널 다 이걸 맞히는 게 목표다.
위 칸(능동)은 가장 빈 곳을, 아래 칸(무작위)은 아무 곳이나 측정한다.
같은 예산을 써도 능동 쪽 곡선이 점선에 더 빨리 포개진다.
오차(RMSE) 막대도 능동에서 더 빨리 짧아진다.
시드 점 개수를 바꿔도 경향은 같다.
같은 시드에서 출발한다. +1 측정을 눌러 둘을 같은 횟수만큼 키워 보자. 능동은 가장 빈 곳을, 무작위는 아무 곳이나 찍는다.
모델이 스스로 다음 질문을 던진다
능동학습은 루프를 점점 똑똑하게 돌리는 엔진이다.
측정할수록 모델이 좋아지고, 좋아진 모델이 다음 점을 더 잘 고른다.
A-Lab과 Coscientist 같은 자율연구실이 이 방식으로 적은 실험에서 많은 발견을 낸다.
획득함수(8강의 베이지안 최적화)는 이 “정보 이득”을 수치로 만든 형태다.
능동학습의 핵심은 정보가 가장 큰 다음 실험을 골라 효율을 높이는 것이다.
한정된 예산을 가장 모르는 곳에 몰아줘 곡선을 빨리 맞춘다.
Q. 능동학습의 핵심은? (모든 점을 전수 측정 · 정보가 큰 다음 실험을 골라 효율↑ · 무작위로 점 찍기 · 측정 없이 예측만)
정답은 정보가 큰 다음 실험을 골라 효율↑이다.모델이 가장 불확실한 곳을 먼저 측정해 한 번으로 가장 많이 배운다.
전수는 비싸고, 무작위는 빈 곳을 운에 맡긴다.
같은 예산으로 곡선을 더 빨리 맞춰 실험과 시약, 시간을 절약한다.