오늘 끝나면
선형 회귀
- ✓선형 회귀의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 선형이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
수치가 얼마? — 점에 직선 맞추기(최소제곱) 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
통계 · 13
선형
회귀
수치가 얼마인지 묻는다. x로 연속값 y를 예측하는 직선이다.
점들 사이를 가장 잘 지나는 직선 하나를 찾는 일이다.
기준은 최소제곱이다. 잔차의 제곱합을 최소로 만든다.
점에 가장 잘 맞는 직선
x가 늘면 y도 느는 점들이 있다. 공부 시간과 점수, 키와 몸무게처럼.
분류는 “어느 그룹인가”를 맞힌다.
회귀는 “수치가 얼마인가”를 맞힌다. 연속값 y를 예측한다.
방법은 직선 하나를 점들 한가운데로 통과시키는 것이다.
그 직선이 x에서 y로 가는 규칙이다.
새 x가 들어오면 직선 위의 y를 읽어 예측한다.
직선의 식은 y = ax + b다.
a는 기울기, b는 절편이다. 절편은 x=0일 때의 y다.
점들 한가운데를 관통하는 한 직선이 규칙이다
잔차 = 점과 직선의 세로 거리
직선이 모든 점을 지날 순 없다. 점마다 빗나감이 생긴다.
한 점의 실제값 y에서 직선이 그 x에서 내놓은 예측값 ŷ를 뺀 것이 잔차다.
잔차 = y − ŷ, 점에서 직선까지의 세로 거리다.
위로 빗나가면 +, 아래로 빗나가면 −가 된다.
그냥 더하면 +와 −가 상쇄돼 0이 되고, 빗나간 양을 못 잰다.
그래서 부호를 없애려고 제곱한다.
제곱하면 큰 빗나감에 더 큰 벌점이 붙는다. 멀리 튄 점이 직선을 더 끌어당긴다.
파란 선분 하나하나가 잔차이고, 그 길이를 제곱해 더한다
잔차제곱합 최소 = 최소제곱
잘 맞췄는지의 기준을 숫자 하나로 정한다. 잔차를 제곱해 다 더한 값이다.
이 값이 잔차제곱합 SSE = Σ(y − ŷ)²다.
SSE가 작을수록 직선이 점들에 가까이 붙은 것이다.
이 SSE를 가장 작게 만드는 a, b를 고르는 것이 최소제곱법이다.
손잡이를 끌어 맞춰 보고, 최적선을 눌러 비교해 본다.
아무리 잘 맞춰도 최적선보다 SSE를 더 줄이진 못한다.
그 최적이 최소제곱해다. 식으로 딱 떨어지게 구해진다.
y = 0.40x + 2.50
x 1↑ → y 0.40 변화
10.22
2.64
내 SSE − 최소 SSE = 7.58. 0에 가까울수록 잘 맞춘 것이다.
기울기 = x 1당 y 변화
직선을 구했으면 기울기 a가 관계를 말해준다.
a는 x가 1 늘 때 y가 평균 얼마나 변하는지다.
a = 0.7이면 x가 1 늘 때 y는 0.7 늘어난다.
a가 음수면 x가 늘 때 y는 줄어든다.
절편 b는 x=0일 때의 예측 y다. 직선이 세로축을 만나는 높이다.
그래서 회귀는 두 가지를 준다.
예측은 새 x를 식에 넣어 ŷ를 얻는 일이다.
관계 파악은 a의 부호와 크기로 x가 y에 주는 영향을 읽는 일이다.
최소제곱해 공식 (펼치기)
최소제곱 기울기와 절편은 식으로 바로 나온다.a = Σ(xᵢ−x̄)(yᵢ−ȳ) / Σ(xᵢ−x̄)²
b = ȳ − a·x̄
x̄, ȳ는 x와 y의 평균이다.
최적선은 항상 평균점 (x̄, ȳ)를 지난다.
x 한 칸 갈 때 y가 a만큼 오른다. a = 0.66이면 x가 1 늘 때 y는 0.66 늘어난다.
1.98정리, 예측과 관계, 한 직선으로
선형 회귀는 점들에 가장 잘 맞는 직선 y = ax + b를 찾는 일이다.
잘 맞췄는지의 기준은 잔차제곱합(SSE)을 최소로 만드는 것, 곧 최소제곱이다.
기울기 a는 x 1당 y의 변화이고, 예측과 관계 파악에 쓴다.
다음 강은 로지스틱 회귀다.
연속값이 아니라 “예 또는 아니오” 확률을 예측하는 회귀로 넘어간다.
Q. 최소제곱법이 최소화하는 것은?
정답은 잔차의 제곱합이다.잔차는 실제값 y와 예측값 ŷ의 차이(y − ŷ)이고, 점과 직선의 세로 거리다.
이 잔차들을 제곱해 다 더한 SSE = Σ(y − ŷ)²를 가장 작게 만드는 a, b를 고른다.
| 질문 | 답 |
|---|---|
| 수치가 얼마인가? | 예측새 x를 넣어 ŷ = ax + b |
| 어떤 관계인가? | 기울기 ax 1당 y 변화와 부호 |
| 얼마나 잘 맞나? | SSE잔차제곱합 최소 |