스레드·워프·
분기 발산

thread를 warp로 묶는다, SIMT

GPU 코어는 thread를 한 줌씩 묶어 다룬다. 이 묶음이 warp다.

한 warp 안의 thread는 전부 같은 명령을 동시에 실행한다. 단, 각자 자기 데이터로 실행한다. 이게 SIMT(Single Instruction, Multiple Thread)다.
명령 해독기와 스케줄러를 thread 수만큼 두지 않고 warp 하나당 하나만 둔다. 그래서 제어 회로가 작아지고 ALU(lane)를 빽빽이 깔 수 있다.

실제 NVIDIA GPU의 warp는 32 thread다. 여기 랩에서는 보기 쉽게 4 lane으로 줄였다.
한 warp의 lane들은 PC(다음 명령 위치)를 공유하며 발맞춰 나아간다. lock-step으로 한 줄씩 나아간다.
그 lock-step이 깨지는 순간이 다음 장의 분기다.

분기 발산, lane이 갈라진다

warp는 명령이 하나뿐이다. 그런데 if에서 thread마다 조건이 갈리면 문제가 생긴다.

어떤 lane은 if 쪽으로, 어떤 lane은 else 쪽으로 가야 한다. 한 warp가 두 길로 쪼개진다. 이걸 분기 발산(divergence)이라 한다.
하드웨어는 한 번에 한 경로만 실행한다. 그래서 if 쪽을 돌 때는 else lane의 스위치를 꺼버린다.

이 끄고 켜는 표가 active mask다. lane마다 1이면 실행, 0이면 놂(masked)이다.
if-경로를 active mask로 한 번 돌고, else-경로를 반대 mask로 또 한 번 돈다. 두 경로를 차례로 다 거친다.
그동안 꺼진 lane의 ALU는 계산을 안 하고 빈 슬롯으로 흘러간다. 일은 안 하는데 사이클은 쓴다.

재수렴, 다시 한 줄로 합친다

갈라진 채로 끝나면 warp가 망가진다. 갈린 길은 결국 다시 합쳐져야 한다.

if/else가 끝나고 두 갈래가 다시 만나는 지점이 재수렴 지점(reconvergence point)이다. 보통 분기 블록이 끝나는 첫 공통 명령이다.
그 지점에서 active mask를 다시 전부 1로 되돌린다. 꺼졌던 lane이 깨어나 warp가 한 줄로 복원된다.

하드웨어는 어디서 합칠지를 분기할 때 스택(reconvergence stack)에 적어둔다. if-경로를 다 돌면 else-경로를 꺼내 돌고, 둘 다 끝나면 합류 지점을 꺼내 mask를 복원한다.
그래서 발산은 영구적이지 않다. 합류 후엔 다시 전 lane이 함께 달린다.
손해는 갈라져 있던 그 구간 동안만 발생한다.

직접 갈라보고 utilization을 본다

분기 조건 SPLIT으로 어디서 갈라질지 정하고 한 사이클씩 진행한다.

SPLIT=0이나 4면 전 lane이 한쪽으로 가 발산이 없다. utilization은 100%다.
1~3이면 if-경로와 else-경로를 차례로 다 도느라 사이클이 늘고, 그동안 반대편 lane이 □(놂)으로 빠져 utilization이 떨어진다.
여기서 정한 warp 폭이 MyChip GPU에 들어간다.

utilization이 곧 GPU 성능이다

GPU의 힘은 lane을 빽빽이 깔아 한 번에 많이 계산하는 데서 나온다. lane이 놀면 그 힘이 샌다.

utilization은 실제 일한 lane 슬롯을 전체 슬롯으로 나눈 비율이다. 가동 ÷ (사이클 × lane)으로 구한다.
발산이 없으면 매 사이클 모든 lane이 일해서 100%가 된다. 발산하면 한 경로 도는 동안 반대편 lane이 0으로 빠져 분모는 그대로인데 분자가 줄어든다.

그래서 같은 일을 시켜도 같은 warp에 비슷하게 분기할 thread를 모아두면 발산이 줄어 utilization이 오른다. 정렬·재배치로 성능을 버는 이유다.
분기가 lane마다 다 다른 최악의 코드는 warp 폭만큼 사이클이 길어질 수 있다. 32-lane이면 최대 32배까지 길어진다.
이 절충(warp 폭 vs 발산 손실)이 최종 MyChip GPU 설계에 그대로 들어간다.