오늘 끝나면
검정력과 표본 크기
- ✓검정력과 표본 크기의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 검정력과이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
효과를 잡으려면 몇 개를 모아야 하나 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
통계 · 37
검정력과
표본 크기
검정력 = 진짜 효과가 있을 때 그걸 잡아낼 확률임.
1 − β / β는 효과를 놓치는 2종 오류.
표본이 너무 작으면 못 잡고, 너무 크면 사소한 차이도 유의해짐.
검정력 = 효과를 잡을 확률
검정은 두 번 틀릴 수 있음. 없는 효과를 있다 하거나(1종), 있는 효과를 없다 하거나(2종).
1종 오류율은 유의수준 α임 / 보통 0.05로 정함.
2종 오류율은 β임 / 진짜 효과를 놓칠 확률.
검정력은 그 반대임.
검정력 = 1 − β / 진짜 효과가 있을 때 귀무가설을 제대로 기각할 확률.
α가 위양성을 다룬다면, 검정력은 위음성을 다룸.
α만 신경 쓰고 검정력을 안 보면 / 효과가 있어도 못 잡는 실험을 돌리게 됨.
| 진실 | 판정 | 결과 |
|---|---|---|
| 효과 있음 | 효과 있다 | 정답 = 검정력 1−β |
| 효과 있음 | 효과 없다 | 2종 오류 β (놓침) |
| 효과 없음 | 효과 있다 | 1종 오류 α (헛것) |
| 효과 없음 | 효과 없다 | 정답 (옳게 기각 안 함) |
두 분포의 겹침이 검정력을 정함
검정력은 두 가설 분포의 그림으로 보면 한눈에 들어옴.
귀무가설 H₀가 맞을 때의 통계량 분포가 왼쪽,
대립가설 H₁(진짜 효과 있음)일 때의 분포가 오른쪽임.
임계값을 넘으면 H₀를 기각함.
그 임계선 오른쪽에 들어가는 H₁ 분포의 넓이가 검정력임.
α는 H₀ 분포가 임계선을 넘는 넓이 / 둘은 같은 선을 공유함.
두 분포가 멀어질수록(효과↑) 겹침이 줄고 검정력이 커짐.
분포가 좁아질수록(표본↑) 역시 겹침이 줄어 검정력이 커짐.
파란 넓이 = 검정력 / 두 봉우리가 멀수록·좁을수록 넓어짐
무엇이 검정력을 높이나
검정력을 끌어올리는 손잡이는 넷임. 셋은 늘리면 좋고, 하나는 줄여야 좋음.
효과크기 d가 크면 ↑ / 두 집단이 원래 많이 다를수록 잡기 쉬움.
표본 크기 n이 크면 ↑ / 추정이 정밀해져 분포가 좁아짐.
유의수준 α가 느슨하면(↑) 검정력 ↑ / 단 위양성도 같이 늘어남 — 공짜가 아님.
분산 σ²이 작으면 ↑ / 측정 잡음을 줄이면 효과가 또렷해짐.
현실에서 효과크기와 분산은 손대기 어려움.
그래서 검정력을 확보하는 가장 직접적인 손잡이가 표본 크기 n임.
필요한 표본 크기 계산
실험을 돌리기 전에 미리 검정력을 0.8(80%)로 잡고 필요한 n을 역산함. 이게 검정력 분석임.
오른쪽에서 직접 해봄.
효과크기 · 표본 크기 · 유의수준을 끌면 검정력 곡선과 현재 검정력이 즉시 바뀜.
오른쪽 칸은 검정력 0.8을 채우는 데 군당 몇 명이 필요한지 보여줌.
단측 2표본 z검정 기준 식은 이거임.
n = 2(z_α + z_β)² / d² / 군당 표본 크기.
효과 d가 절반이 되면 필요한 n은 4배가 됨 / n은 d²에 반비례함.
이걸 안 하고 시작하면 두 가지 사고가 남.
n이 너무 작으면 효과가 있어도 못 잡음 / 헛돈 실험.
n이 너무 크면 실무상 의미 없는 미세한 차이도 통계적으로 유의해짐.
작음 0.2 · 중간 0.5 · 큼 0.8
느슨할수록(↑) 검정력↑ · 위양성도↑
정리 — 잡을 확률을 미리 설계하기
검정력은 진짜 효과를 잡아낼 확률 1 − β임. 보통 0.8을 목표로 둠.
효과 크고 · 표본 크고 · 분산 작고 · α 느슨하면 검정력이 오름.
이 중 직접 조절하는 손잡이는 보통 표본 크기 n임.
그래서 실험 설계의 핵심은 사전 검정력 분석임 / 목표 검정력에 맞는 n을 미리 정해 두는 것.
다음 강은 다중비교 보정임 / 검정을 여러 번 하면 1종 오류가 쌓이는 문제를 다룸.
Q. 검정력이 낮으면 어떤 일이 벌어지나?
정답은 진짜 효과가 있어도 못 잡음임.검정력 = 1 − β라서, 검정력이 낮다는 건 β(2종 오류)가 크다는 뜻임.
2종 오류 = 효과가 실제로 있는데 귀무가설을 기각 못 하는 것 / 위음성.
표본이 너무 작아 검정력이 낮으면, 효과가 있어도 “유의하지 않음”으로 나와 놓치게 됨.
| 질문 | 답 |
|---|---|
| 효과를 잡을 확률? | 검정력 1−β보통 0.8 목표 |
| 놓칠 확률? | β = 2종 오류검정력 낮으면 ↑ |
| 몇 명 모을까? | n = 2(z_α+z_β)²/d²사전 검정력 분석 |