분산분석
(ANOVA)

셋 이상이면 t검정 반복은 금지

두 집단은 t검정으로 된다. 그런데 집단이 셋 이상이면?

A, B, C 세 그룹을 t검정으로 다 비교하려면 쌍이 3개다.
A와 B, A와 C, B와 C를 각각 봐야 한다.
그룹이 늘수록 비교 쌍은 더 빠르게 늘어난다.

문제는 검정 한 번마다 1종 오류(거짓 양성) 확률이 붙는다는 것이다.
각 검정 유의수준이 5%면, 셋을 다 보면 적어도 한 번 헛걸릴 확률이 약 14%로 뛴다.
비교를 많이 할수록 “사실은 안 다른데 다르다”고 잘못 외칠 위험이 누적된다.

그래서 셋 이상은 t검정을 반복하지 않는다.
한 번에 보는 도구가 필요하고, 그것이 ANOVA다.

질문을 분산으로 바꾼다

ANOVA의 발상은 이렇다. 평균 차이를 직접 묻지 말고 분산 두 개를 비교한다.

그룹간 분산은 그룹 평균들이 전체 평균에서 벌어진 정도다.
그룹내 분산은 각 그룹 안에서 점들이 퍼진 정도다.

직관은 간단하다.
평균들이 서로 멀고 각 그룹은 촘촘하면, 그룹간이 크고 그룹내가 작아서 차이가 진짜로 보인다.
평균들이 가깝거나 각 그룹이 널뛰면 그 차이는 우연일 수 있다.

즉 신호인 그룹간 분산을 잡음인 그룹내 분산으로 견주는 것이다.

F = 그룹간분산 ÷ 그룹내분산

그 두 분산의 비율이 F값이다.

F = MSB ÷ MSW
MSB는 그룹간 평균제곱(between), 곧 신호다.
MSW는 그룹내 평균제곱(within), 곧 잡음이다.

분자와 분모는 그냥 합이 아니라 자유도로 나눈 평균제곱이다.
그룹간 자유도는 그룹 수에서 1을 뺀 값이고, 그룹내 자유도는 전체 수에서 그룹 수를 뺀 값이다.
이렇게 나눠야 비교가 공정해진다.

F가 1 근처면 신호와 잡음이 비슷해서 차이가 안 두드러진다.
F가 크면 신호가 잡음을 압도해서 평균 차이가 두드러진다.

직접 F를 만들어 본다

세 그룹의 점 분포와 각 평균선이 보인다. 파란 점선은 전체 평균이다.

평균 벌리기 슬라이더를 올리면 그룹 평균들이 멀어진다. 그러면 분자인 그룹간 분산이 커져 F가 올라간다.
그룹 내 퍼짐을 키우면 점들이 널뛰어 분모인 그룹내 분산이 커져 F가 내려간다.

F가 임계선을 넘으면 막대가 파랗게 바뀌고 유의해진다.
평균은 그대로 둔 채 퍼짐만 키우면 F가 떨어진다.

F가 크면 어딘가 다르다

F가 임계값을 넘으면 결론은 하나다.
“적어도 한 그룹이 다르다.”

그런데 ANOVA는 어느 그룹이 다른지는 말해주지 않는다.
A가 튄 건지, C가 튄 건지, 둘 다인지 알 수 없다.

그걸 찾는 게 사후검정(post-hoc)이다.
Tukey HSD, Bonferroni 같은 방법으로 그룹 쌍을 비교하되, 비교를 여러 번 하는 만큼 기준을 더 엄격하게 보정한다.
그래서 다시 거짓 양성이 쌓이지 않는다.

정리하면 두 단계다.
1단계는 ANOVA로 “다른 데가 있나?”를 한 번에 판정한다.
2단계는 사후검정으로 “어디가 다른가?”를 안전하게 짚는다.