회귀
평가지표

잔차 = 예측 − 실제

회귀선이 모든 점을 지날 수는 없다. 점마다 빗나감이 남는다.

한 점의 예측값 ŷ에서 실제값 y를 뺀 것이 잔차다.
잔차 = ŷ − y, 즉 점과 직선 사이의 세로 거리다.

위로 빗나가면 +, 아래로 빗나가면 −가 된다.
그냥 다 더하면 +와 −가 상쇄돼 0에 가까워지고, 빗나간 양을 잴 수 없다.

그래서 부호를 없앤 다음 모은다.
제곱으로 없애면 MSE 계열이고, 절댓값으로 없애면 MAE다.
어느 쪽이든 잔차들을 한 숫자로 압축해 “얼마나 틀렸나”를 잰다.

MSE · RMSE, 제곱이라 큰 오차에 민감

첫 방식은 잔차를 제곱해 평균을 낸다. 그것이 평균제곱오차 MSE다.

MSE = (1/n)·Σ(ŷᵢ − yᵢ)²
제곱이라 부호가 사라지고, 큰 잔차일수록 벌점이 제곱으로 커진다.
잔차 2는 벌점 4, 잔차 4는 벌점 16이라 멀리 튄 점이 값을 확 끌어올린다.

단점은 단위가 제곱이라 직관에 안 맞는다는 것이다. y가 만원이면 MSE는 만원²이다.
그래서 제곱근을 씌운 것이 RMSE = √MSE다.
RMSE는 y와 같은 단위라 “평균 ±얼마 틀림”으로 바로 읽힌다.

RMSE도 제곱을 거쳐 나온 값이라 큰 오차에 여전히 민감하다.
항상 RMSE ≥ MAE가 성립하고, 둘이 벌어질수록 오차가 들쭉날쭉이라는 신호다.

MAE, 절댓값이라 이상치에 강건

둘째 방식은 잔차의 절댓값을 평균 낸다. 그것이 평균절대오차 MAE다.

MAE = (1/n)·Σ|ŷᵢ − yᵢ|
벌점이 거리에 비례할 뿐 제곱처럼 폭증하지 않는다.
잔차 2는 벌점 2, 잔차 4는 벌점 4라서 멀리 튄 점도 제 몫만큼만 반영된다.

그래서 이상치, 즉 튀는 한 점에 강건하다. 데이터에 오류나 극단값이 섞여도 덜 흔들린다.
단위도 y 그대로라 해석이 쉽다.

정리하면 선택 기준이 갈린다.
큰 오차를 특히 잡고 싶으면 MSE와 RMSE를 쓴다.
이상치에 휘둘리기 싫으면 MAE를 쓴다.
둘을 같이 보면 오차 분포의 모양까지 읽힌다.

직접 흐트러뜨려 보기

오른쪽에서 예측을 직접 흐트러뜨려 본다.

슬라이더로 예측을 회귀선에서 띄우면 잔차가 커진다.
MSE와 RMSE, MAE가 동시에 오른다. 낮을수록 좋은 값이다.

이제 이상치 한 점 버튼을 눌러 보자.
가운데 한 점만 예측이 멀리 튄다.
MSE와 RMSE 막대는 확 뛰는데 MAE는 조금만 움직인다.

이것이 핵심 차이다.
제곱을 쓰는 MSE와 RMSE는 그 한 점의 큰 오차를 크게 반영한다.
절댓값을 쓰는 MAE는 거리만큼만 반영해 덜 흔들린다. 이것이 강건함의 정체다.

정리, 잔차를 어떻게 모으나

회귀 평가지표는 잔차, 즉 예측에서 실제를 뺀 값을 한 숫자로 모은 것이다.

MSE는 제곱 평균이고, RMSE는 그 제곱근으로 원래 단위를 되살린 값이며, MAE는 절댓값 평균이다.
셋 다 낮을수록 좋고, 같은 데이터와 같은 지표로 재야 모델 비교가 공정하다.

제곱 계열은 큰 오차에 민감하고, 절댓값 계열은 이상치에 강건하다.
다음 강은 결정계수 R²다. 오차의 크기가 아니라 “설명한 비율”로 모델을 평가하는 지표로 넘어간다.