부트
스트랩

분포 가정 없이 불확실성을 잰다

신뢰구간을 구하려면 보통 표집분포를 알아야 한다. 평균이면 정규근사나 t분포 같은 공식이 있다.

그런데 통계량이 중앙값이나 상관계수, 90분위수, 지니계수라면 이야기가 달라진다.
표집분포 공식이 아예 없거나 끔찍하게 복잡하다.
표본이 작거나 분포가 치우치면 정규근사도 믿기 어렵다.

부트스트랩은 모분포를 모를 때 가진 표본을 모분포 대신 쓴다.
표본이 모집단을 잘 닮았다면, 표본에서 다시 뽑는 일이 모집단에서 뽑는 일을 흉내 낸다.

그래서 수식 대신 재표집으로 표집분포를 직접 만든다.
분포 가정도 어려운 공식도 필요 없다. 컴퓨터가 대신 뽑아 준다.

복원추출 = 표본에서 다시 뽑기

핵심 동작은 복원추출(resampling with replacement) 한 가지다.

원표본 크기가 n이면, 그 안에서 한 개를 뽑고 도로 넣고 또 뽑는다.
이걸 n번 반복해 똑같이 크기 n인 새 표본 하나를 만든다. 이게 부트스트랩 표본이다.

되돌려 넣으니 같은 값이 여러 번 뽑힐 수 있고, 어떤 값은 한 번도 안 뽑힌다.
그 우연한 중복과 누락이 곧 “표본이 달랐다면”의 시나리오를 만든다.
평균적으로 원소의 약 63%만 한 번 이상 등장하고 나머지 37%는 빠진다.

부트스트랩 표본 하나마다 통계량을 하나씩 계산한다.
이 재추출을 B = 1000~10000번 반복하면 통계량이 그만큼 쌓인다.

쌓인 분포가 곧 신뢰구간

복원추출을 누적할수록 통계량이 쌓여 분포가 된다.

한 번 뽑을 때마다 그 부트스트랩 표본의 통계량이 히스토그램에 한 칸씩 쌓인다.
수백, 수천 개가 쌓이면 봉우리가 또렷해진다. 이게 통계량의 표집분포 근사다.

이 분포의 가운데 95%를 잘라내면 신뢰구간이 된다.
정렬한 부트스트랩 통계량에서 2.5% 지점과 97.5% 지점을 읽는 방식을 백분위수법(percentile method)이라 한다.
그 양 끝이 95% 신뢰구간의 하한과 상한이다.

평균이든 중앙값이든 표준편차든, 공식이 다 달라도 절차는 똑같다.

왜 통하나, 표본이 모집단을 대신한다

부트스트랩이 통하는 근거는 플러그인(plug-in) 원리다.

진짜 표집분포는 미지의 모분포 F에서 크기 n을 뽑아 통계량을 잰 분포다.
F를 모르니, 표본이 만든 경험분포 F̂를 대신 끼워 넣는다(plug in).
F̂에서 크기 n을 뽑는 일이 곧 원표본에서 복원추출하는 일이다.

표본 크기 n이 커질수록 F̂가 F에 가까워진다.
그래서 부트스트랩 분포가 진짜 표집분포에 수렴한다. 큰 표본에서 잘 맞는다.

한계도 분명하다.
원표본이 편향됐으면 부트스트랩도 그 편향을 그대로 복제한다. 없는 정보를 만들어 내지는 못한다.
극단값이나 최댓값처럼 꼬리에 민감한 통계량에는 약하다.

정리, 컴퓨터로 미는 추론

부트스트랩은 분포 가정 없이 가진 표본만으로 불확실성을 재는 방법이다.

절차는 네 단계다. 원표본에서 복원추출하고, 통계량을 계산하고, B번 반복해 쌓고, 분위수로 구간을 자른다.
평균이든 중앙값이든 공식이 없어도 같은 절차로 신뢰구간이 나온다.

핵심은 수식을 컴퓨터의 반복으로 갈아끼운 것이다.
한때 손으로 못 풀던 추론을 재표집 수천 번으로 밀어붙인다.