ROC 곡선과
AUC

임계값 하나로는 못 정한다

확률을 내놓는 분류기는 마지막에 선을 하나 긋는다.
점수가 t 이상이면 양성, 아니면 음성으로 본다. 이 t가 임계값이다.

t를 낮추면 양성을 많이 잡으니 재현율이 올라간다. 대신 음성까지 양성이라 우기게 되어 거짓양성도 늘어난다.
t를 높이면 반대로 신중해져서 거짓양성이 줄지만, 놓치는 양성이 많아져 재현율이 떨어진다.

그래서 임계값 한 값만 보면 분류기의 한 면만 보는 셈이다.
0.5에선 좋아 보여도 0.3에선 엉망일 수 있다.

제대로 평가하려면 t를 한 점에 묶지 말고 0부터 1까지 전부 훑어야 한다.
그렇게 훑은 자취가 다음 장의 ROC다.

ROC는 임계값을 넘나든 자취다

임계값 t를 높은 1쪽에서 낮은 0쪽으로 쭉 내린다. 매 t마다 두 수를 잰다.

세로축은 재현율(TPR)이고 = TP / (TP + FN), 진짜 양성을 얼마나 잡았는지를 뜻한다.
가로축은 거짓양성률(FPR)이고 = FP / (FP + TN), 진짜 음성을 얼마나 잘못 울렸는지를 뜻한다.

t가 아주 높으면 아무도 양성이라 하지 않으니 (0, 0)이다.
t가 아주 낮으면 다 양성이라 하니 (1, 1)이다.
그 사이를 t가 움직이며 찍은 점들을 이으면 곡선이 된다.

이게 ROC(Receiver Operating Characteristic)다.
한 점이 아니라 임계값 전부를 한 그림에 담은 것이다.

왼쪽 위로 붙을수록 좋다

좋은 분류기의 ROC는 왼쪽 위 모서리 (0, 1)로 바짝 붙는다.

(0, 1)은 거짓양성이 0인데 진짜 양성은 다 잡은 자리이고, 완벽한 지점이다.
곡선이 거기 가까울수록 낮은 FPR에서 이미 높은 재현율을 낸다.

왼쪽 아래에서 오른쪽 위로 그은 대각선은 동전 던지기다.
잡은 양성 비율과 잘못 울린 음성 비율이 같아서 양과 음을 못 가린 분류기다.
곡선이 대각선 아래로 처지면 찍기보다도 못한데, 출력을 뒤집으면 된다.

겹침을 떨어뜨리면 두 종류가 갈리면서 ROC가 좌상단으로 솟고, 붙이면 대각선으로 내려앉는다.

AUC는 곡선 아래 면적

곡선 하나를 수 하나로 요약하고 싶다. 그게 바로 곡선 아래 면적인 AUC다.

ROC가 차지하는 면적을 0에서 1 사이로 잰다.
AUC = 1.0이면 완벽이고, 0.5면 무작위 찍기, < 0.5면 찍기보다 못하다.

AUC에는 깔끔한 뜻이 하나 더 있다.
무작위로 양성 하나와 음성 하나를 뽑았을 때 양성 점수가 음성보다 높을 확률이다.
AUC = P(점수₊ > 점수₋)이라서 순위만 맞으면 된다.

핵심은 AUC가 임계값과 무관하다는 점이다.
선을 어디 긋든 상관없이 분류기가 양과 음을 줄 세우는 전체 능력을 한 수로 평가한다.

정리, 통째로 평가하는 한 수

ROC는 임계값을 0에서 1로 훑은 자취이고, AUC는 그 아래 면적이다.

왼쪽 위로 붙을수록 좋고, 대각선(AUC 0.5)은 찍기다.
AUC는 임계값 하나에 묶이지 않고 분류기의 줄 세우기 능력을 통째로 평가한다.

주의할 점도 있다. 양과 음이 심하게 불균형하면 ROC는 너그러워 보일 수 있다.
그땐 정밀도-재현율 곡선(PR-AUC)이 더 솔직하다.