오늘 끝나면
가설검정과 p값
- ✓귀무가설과 대립가설을 구분한다
- ✓p값을 '가설이 참일 확률'로 읽으면 안 되는 이유를 설명한다
- ✓유의수준 0.05 기준의 판정을 직접 내린다
실습 미션
슬라이더를 움직여 p값을 0.05 위아래로 오가게 만들고 판정 문장이 어떻게 바뀌는지 본다.
성공 조건
- □p >= 0.05 상태와 p < 0.05 상태를 모두 만들어보기
- □관측값이 꼬리로 갈수록 면적이 줄어드는 것 확인
- □'기각 못함'이 '차이 없음 증명'이 아님을 말하기
통계 · 07
가설검정과
p값
관측된 차이가 그냥 우연일까를 따지는 절차임.
우연이라 치면 이 정도 결과가 얼마나 드문지를 p값으로 잼.
너무 드물면 우연이 아니라고 판정함.
차이가 보인다, 우연일까 진짜일까
A안 클릭률 12%, B안 14%. B가 이긴 걸까?
아니면 그냥 그날 운이 좋았던 걸까.
데이터엔 늘 흔들림이 있음.
공정한 동전도 10번 중 7번 앞면이 그냥 나옴.
그래서 차이가 보여도 바로 진짜라고 못 함.
가설검정은 이 질문에 답하는 절차임.
관측된 차이가 우연으로 설명되나, 아니면 우연치곤 너무 큰가.
느낌이 아니라 확률로 따짐.
앞면 확률 50%인데 7번 나옴. 동전이 이상한 게 아니라 그냥 흔들림임.
데이터의 차이도 이렇게 우연일 수 있음.
귀무가설 = 차이 없음, 다 우연
검정은 일단 “차이 없음”을 기본값으로 깔고 시작함.
이게 귀무가설(H₀)임.
귀무가설은 효과가 없다는 가설임.
A와 B는 같다 / 보이는 차이는 전부 우연이다.
대립가설(H₁)은 그 반대 / 진짜 차이가 있다.
왜 굳이 “없음”부터 깔까.
없다고 가정해야 우연의 분포를 계산할 수 있기 때문임.
그 분포 위에서 내 데이터가 얼마나 튀는지를 봄.
차이 없음 · 다 우연
A = B / 효과 없음
진짜 차이 있음
A ≠ B / 효과 있음
p값 = 귀무 하에서 이 결과가 나올 확률
p값은 귀무가설이 맞다고 가정할 때
관측된 만큼(또는 더) 극단적인 결과가 나올 확률임.
오른쪽에서 직접 밀어봄.
가운데 곡선이 우연의 분포(귀무분포)임.
그룹차를 키우면 관측값(z)이 꼬리로 밀려남.
진한 면적이 바로 p값임 / 관측값 바깥 꼬리의 넓이.
관측값이 멀어질수록 그 면적이 빠르게 줄어듦.
p가 작다 = 우연이라 치면 이 결과는 어지간히 드물다는 뜻임.
진한 면적 = 관측값만큼 극단적인 결과가 우연히 나올 확률 = p값.
옅은 영역 = 유의수준 0.05 기각역(양측 ±1.96 바깥).
0에 가까우면 우연 같은 차이, 오른쪽으로 갈수록 드문 차이
p가 0.05 이상임. 이 정도 차이는 우연으로도 충분히 나옴 → 귀무를 기각 못함.
p < 유의수준이면 귀무 기각
그래서 얼마나 작아야 “드물다”고 인정할까.
미리 선을 하나 그어둠 / 유의수준 α, 보통 0.05.
p < 0.05면 우연치곤 너무 드물다며 귀무를 기각함.
p ≥ 0.05면 우연으로도 충분히 나올 수 있어 기각 못함.
기각 못함은 “차이 없음을 증명”이 아니라 “증거 부족”임.
0.05는 자연법칙이 아니라 관습임.
분야에 따라 0.01, 0.001을 쓰기도 함.
선을 어디 긋느냐가 곧 우연을 얼마나 허용하느냐임.
| p값 | 판정 |
|---|---|
| 0.001 | 기각 |
| 0.03 | 기각 |
| 0.05 | 경계 |
| 0.12 | 기각 못함 |
| 0.40 | 기각 못함 |
p < 0.05면 기각 · 이상이면 증거 부족. 선은 관습일 뿐임.
p는 가설이 참일 확률이 아니다
제일 많이 틀리는 지점임.
p=0.03은 “귀무가 맞을 확률 3%”가 아님.
p는 가설에 대한 확률이 아니라 데이터에 대한 확률임.
정확히는 / 귀무가 참이라고 가정할 때, 이런 데이터가 나올 확률임.
조건과 결론을 바꿔 읽으면 안 됨.
또 p가 작다고 효과가 크다는 뜻도 아님.
표본이 크면 사소한 차이도 p가 작아짐.
그래서 p값과 함께 효과크기 · 신뢰구간을 같이 봐야 함.
Q. p = 0.03의 뜻은?
차이가 없다(귀무)고 가정할 때, 관측된 만큼(또는 더) 극단적인 결과가 우연히 나올 확률이 3%라는 뜻임.가설이 틀릴 확률도, 효과가 큰 정도도 아님.
데이터에 대한 확률이지 가설에 대한 확률이 아님.
귀무가 맞을 확률이 3%다
귀무가 참이라 가정하면, 이런 데이터가 나올 확률이 3%다
가설에 대한 확률 ✕ · 데이터에 대한 확률 ○