오늘 끝나면
검정력과 표본 크기
- ✓검정력과 표본 크기의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 검정력과이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
효과를 잡으려면 몇 개를 모아야 하나 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
통계 · 37
검정력과
표본 크기
검정력은 진짜 효과가 있을 때 그걸 잡아낼 확률이다.
값으로는 1 − β이고, β는 효과를 놓치는 2종 오류다.
표본이 너무 작으면 효과를 못 잡고, 너무 크면 사소한 차이도 유의하게 나온다.
검정력 = 효과를 잡을 확률
검정은 두 가지로 틀릴 수 있다. 없는 효과를 있다고 하거나(1종), 있는 효과를 없다고 한다(2종).
1종 오류율은 유의수준 α다. 보통 0.05로 정한다.
2종 오류율은 β다. 진짜 효과를 놓칠 확률이다.
검정력은 그 반대다.
검정력 = 1 − β이고, 진짜 효과가 있을 때 귀무가설을 제대로 기각할 확률이다.
α가 위양성을 다룬다면, 검정력은 위음성을 다룬다.
α만 신경 쓰고 검정력을 안 보면 효과가 있어도 못 잡는 실험을 돌리게 된다.
| 진실 | 판정 | 결과 |
|---|---|---|
| 효과 있음 | 효과 있다 | 정답 = 검정력 1−β |
| 효과 있음 | 효과 없다 | 2종 오류 β (놓침) |
| 효과 없음 | 효과 있다 | 1종 오류 α (헛것) |
| 효과 없음 | 효과 없다 | 정답 (옳게 기각 안 함) |
두 분포의 겹침이 검정력을 정함
검정력은 두 가설 분포의 그림으로 보면 한눈에 들어온다.
귀무가설 H₀가 맞을 때의 통계량 분포가 왼쪽이고,
대립가설 H₁(진짜 효과 있음)일 때의 분포가 오른쪽이다.
임계값을 넘으면 H₀를 기각한다.
그 임계선 오른쪽에 들어가는 H₁ 분포의 넓이가 검정력이다.
α는 H₀ 분포가 임계선을 넘는 넓이이고, 둘은 같은 선을 공유한다.
두 분포가 멀어질수록(효과↑) 겹침이 줄어 검정력이 커진다.
분포가 좁아질수록(표본↑) 역시 겹침이 줄어 검정력이 커진다.
파란 넓이가 검정력이다. 두 봉우리가 멀수록, 좁을수록 넓어진다
무엇이 검정력을 높이나
검정력을 끌어올리는 손잡이는 넷이다. 셋은 늘리면 좋고, 하나는 줄여야 좋다.
효과크기 d가 크면 검정력이 오른다. 두 집단이 원래 많이 다를수록 잡기 쉽다.
표본 크기 n이 크면 검정력이 오른다. 추정이 정밀해져 분포가 좁아진다.
유의수준 α가 느슨하면 검정력이 오른다. 단 위양성도 같이 늘어나니 공짜가 아니다.
분산 σ²이 작으면 검정력이 오른다. 측정 잡음을 줄이면 효과가 또렷해진다.
현실에서 효과크기와 분산은 손대기 어렵다.
그래서 검정력을 확보하는 가장 직접적인 손잡이가 표본 크기 n이다.
필요한 표본 크기 계산
실험을 돌리기 전에 미리 검정력을 0.8(80%)로 잡고 필요한 n을 역산한다. 이게 검정력 분석이다.
효과크기와 표본 크기, 유의수준을 끌면 검정력 곡선과 검정력 0.8에 필요한 군당 인원이 바로 바뀐다.
단측 2표본 z검정 기준 식은 이렇다.
n = 2(z_α + z_β)² / d², 군당 표본 크기다.
효과 d가 절반이 되면 필요한 n은 4배가 된다. n은 d²에 반비례한다.
이걸 안 하고 시작하면 두 가지 사고가 난다.
n이 너무 작으면 효과가 있어도 못 잡으니 헛돈 실험이 된다.
n이 너무 크면 실무상 의미 없는 미세한 차이도 통계적으로 유의하게 나온다.
작음 0.2 · 중간 0.5 · 큼 0.8
느슨할수록(↑) 검정력↑ · 위양성도↑
정리, 잡을 확률을 미리 설계하기
검정력은 진짜 효과를 잡아낼 확률 1 − β다. 보통 0.8을 목표로 둔다.
효과가 크고 표본이 크고 분산이 작고 α가 느슨하면 검정력이 오른다.
이 중 직접 조절하는 손잡이는 보통 표본 크기 n이다.
그래서 실험 설계의 핵심은 사전 검정력 분석이다. 목표 검정력에 맞는 n을 미리 정해 두는 것이다.
Q. 검정력이 낮으면 어떤 일이 벌어지나?
정답은 진짜 효과가 있어도 못 잡는다이다.검정력 = 1 − β라서, 검정력이 낮다는 건 β(2종 오류)가 크다는 뜻이다.
2종 오류는 효과가 실제로 있는데 귀무가설을 기각 못 하는 것, 곧 위음성이다.
표본이 너무 작아 검정력이 낮으면, 효과가 있어도 “유의하지 않음”으로 나와 놓치게 된다.
| 질문 | 답 |
|---|---|
| 효과를 잡을 확률? | 검정력 1−β보통 0.8 목표 |
| 놓칠 확률? | β = 2종 오류검정력 낮으면 ↑ |
| 몇 명 모을까? | n = 2(z_α+z_β)²/d²사전 검정력 분석 |