오늘 끝나면
가설검정과 p값
- ✓귀무가설과 대립가설을 구분한다
- ✓p값을 '가설이 참일 확률'로 읽으면 안 되는 이유를 설명한다
- ✓유의수준 0.05 기준의 판정을 직접 내린다
실습 미션
슬라이더를 움직여 p값을 0.05 위아래로 오가게 만들고 판정 문장이 어떻게 바뀌는지 본다.
성공 조건
- □p >= 0.05 상태와 p < 0.05 상태를 모두 만들어보기
- □관측값이 꼬리로 갈수록 면적이 줄어드는 것 확인
- □'기각 못함'이 '차이 없음 증명'이 아님을 말하기
통계 · 07
가설검정과
p값
관측된 차이가 그냥 우연인지를 따지는 절차다.
우연이라 치면 이 정도 결과가 얼마나 드문지를 p값으로 잰다.
너무 드물면 우연이 아니라고 판정한다.
차이가 보인다, 우연일까 진짜일까
A안 클릭률 12%, B안 14%. B가 이긴 걸까?
아니면 그냥 그날 운이 좋았던 걸까.
데이터엔 늘 흔들림이 있다.
공정한 동전도 10번 중 7번 앞면이 그냥 나온다.
그래서 차이가 보여도 바로 진짜라고 단정하지 못한다.
가설검정은 이 질문에 답하는 절차다.
관측된 차이가 우연으로 설명되는지, 아니면 우연치곤 너무 큰지를 본다.
느낌이 아니라 확률로 따진다.
앞면 확률 50%인데 7번 나왔다. 동전이 이상한 게 아니라 그냥 흔들림이다.
데이터의 차이도 이렇게 우연일 수 있다.
귀무가설 = 차이 없음, 다 우연
검정은 일단 “차이 없음”을 기본값으로 깔고 시작한다.
이게 귀무가설(H₀)이다.
귀무가설은 효과가 없다는 가설이다.
A와 B는 같고, 보이는 차이는 전부 우연이라는 입장이다.
대립가설(H₁)은 그 반대로, 진짜 차이가 있다는 입장이다.
왜 굳이 “없음”부터 까는 걸까.
없다고 가정해야 우연의 분포를 계산할 수 있기 때문이다.
그 분포 위에서 내 데이터가 얼마나 튀는지를 본다.
차이 없다, 다 우연이다
A = B, 효과 없다
진짜 차이 있다
A ≠ B, 효과 있다
p값 = 귀무 하에서 이 결과가 나올 확률
p값은 귀무가설이 맞다고 가정할 때
관측된 만큼(또는 더) 극단적인 결과가 나올 확률이다.
오른쪽에서 직접 밀어본다.
가운데 곡선이 우연의 분포, 곧 귀무분포다.
그룹차를 키우면 관측값(z)이 꼬리로 밀려난다.
진한 면적이 바로 p값이고, 관측값 바깥 꼬리의 넓이다.
관측값이 멀어질수록 그 면적이 빠르게 줄어든다.
p가 작다는 건 우연이라 치면 이 결과가 어지간히 드물다는 뜻이다.
진한 면적 = 관측값만큼 극단적인 결과가 우연히 나올 확률 = p값.
옅은 영역 = 유의수준 0.05 기각역(양측 ±1.96 바깥).
0에 가까우면 우연 같은 차이, 오른쪽으로 갈수록 드문 차이
p가 0.05 이상이다. 이 정도 차이는 우연으로도 충분히 나오므로 귀무를 기각하지 못한다.
p < 유의수준이면 귀무 기각
그래서 얼마나 작아야 “드물다”고 인정할까.
미리 선을 하나 그어둔다. 유의수준 α, 보통 0.05다.
p < 0.05면 우연치곤 너무 드물다며 귀무를 기각한다.
p ≥ 0.05면 우연으로도 충분히 나올 수 있어 기각하지 못한다.
기각하지 못한다는 건 차이 없음을 증명한 게 아니라 증거가 부족하다는 뜻이다.
0.05는 자연법칙이 아니라 관습이다.
분야에 따라 0.01이나 0.001을 쓰기도 한다.
선을 어디 긋느냐가 곧 우연을 얼마나 허용하느냐다.
| p값 | 판정 |
|---|---|
| 0.001 | 기각 |
| 0.03 | 기각 |
| 0.05 | 경계 |
| 0.12 | 기각 못함 |
| 0.40 | 기각 못함 |
p < 0.05면 기각하고, 그 이상이면 증거가 부족하다. 선은 관습일 뿐이다.
p는 가설이 참일 확률이 아니다
제일 많이 틀리는 지점이다.
p=0.03은 “귀무가 맞을 확률 3%”가 아니다.
p는 가설에 대한 확률이 아니라 데이터에 대한 확률이다.
정확히는 귀무가 참이라고 가정할 때 이런 데이터가 나올 확률이다.
조건과 결론을 바꿔 읽으면 안 된다.
또 p가 작다고 효과가 크다는 뜻도 아니다.
표본이 크면 사소한 차이도 p가 작아진다.
그래서 p값과 함께 효과크기, 신뢰구간을 같이 봐야 한다.
Q. p = 0.03의 뜻은?
차이가 없다(귀무)고 가정할 때, 관측된 만큼(또는 더) 극단적인 결과가 우연히 나올 확률이 3%라는 뜻이다.가설이 틀릴 확률도, 효과가 큰 정도도 아니다.
데이터에 대한 확률이지 가설에 대한 확률이 아니다.
귀무가 맞을 확률이 3%다
귀무가 참이라 가정하면, 이런 데이터가 나올 확률이 3%다
가설에 대한 확률 ✕ · 데이터에 대한 확률 ○