다중비교
보정

검정 한 번의 5%가 반복되면

유의수준 α=0.05는 효과가 없어도 우연히 유의가 뜰 확률 5%를 허용한다는 뜻이다.

검정 한 번이면 5%는 받아들일 만하다. 100번 중 5번은 헛스윙이다.
문제는 검정을 한 번만 하지 않는다는 데 있다.

유전자 2만 개, 광고 문구 50종, 부분집단 10개를 다룬다.
한 연구에서 수십, 수백 번씩 검정을 돌린다.
그 많은 검정 중 일부는 진짜 효과가 없어도 5% 운으로 유의가 뜬다.

귀무가설이 참이면 p-value는 0과 1 사이 균등분포가 된다.
그래서 p<0.05가 나올 확률이 딱 5%다. 우연이 끼어드는 틈이다.

검정이 늘면 거짓양성이 폭증

검정을 m번 하면 “적어도 한 번 우연히 유의”할 확률이 빠르게 커진다.

한 검정이 헛스윙하지 않을 확률은 0.95다.
m번 모두 안 터질 확률은 0.95^m이 된다.
적어도 하나 터질 확률은 1 − 0.95^m이고, 이게 family-wise 에러율(FWER)이다.

m=1이면 5%다. m=14면 51%로, 이미 동전 던지기보다 나쁘다.
m=20이면 64%, m=100이면 99.4%까지 올라간다.

즉 검정을 많이 할수록 가짜 양성 하나쯤은 거의 확정으로 나온다.
개별 p<0.05만 보고 “발견”을 외치면 대부분 우연을 줍는 셈이다.

본페로니, 문턱을 α/m로

가장 단순한 보정은 본페로니다. 문턱 α를 검정 수 m으로 나눈다.

각 검정은 p < α/m일 때만 유의로 인정한다.
검정 20개에 α=0.05면 문턱이 0.0025로 내려간다. 어지간한 우연은 이 선을 넘지 못한다.

이러면 family-wise 에러율, 즉 적어도 하나 거짓양성이 나올 확률이 α 아래로 눌린다.

대신 문턱이 너무 빡세져서 진짜 효과도 놓치기 쉬워진다. 검정력이 떨어진다.
본페로니는 보수적이다. 검정이 아주 많으면 거의 아무것도 건지지 못한다.

FDR, 발견 중 가짜 비율을 관리

유의가 수백 개 나오는 분야, 예컨대 유전체에서는 본페로니가 너무 가혹하다. 그 대안이 FDR이다.

FWER은 “가짜를 단 하나도 내지 않겠다”는 목표라서 너무 엄격하다.
FDR(거짓발견율)은 “유의로 부른 것 중 가짜 비율을 q 이하로”라는 목표라서 더 너그럽다.

벤자미니-호흐베르그(BH) 절차로 구한다.
p값을 작은 순으로 줄 세운 뒤, k번째 p값을 (k/m)·q와 비교한다.
이 선 아래로 들어온 것 중 가장 큰 순위까지를 전부 유의로 채택한다.

본페로니는 거짓양성을 0으로 누르려다 진짜 효과까지 버린다.
BH는 약간의 가짜, 예를 들어 5%를 허용하는 대신 진짜 발견을 더 많이 건진다. 탐색 연구에 적합하다.

정리, 많이 검정했으면 보정

한 연구에서 검정을 여러 번 했으면 개별 p<0.05만으로 결론을 내면 안 된다.

가짜를 단 하나도 못 참는 확증 연구나 임상에서는 FWER을 관리한다. 본페로니를 쓴다.
발견을 많이 건지되 가짜 비율만 관리하는 탐색 연구나 유전체에서는 FDR을 관리한다. BH를 쓴다.

핵심은 검정 수만큼 운의 기회도 늘어난다는 데 있다.
보정은 그렇게 늘어난 운을 문턱으로 되갚는 일이다.