스킬캠퍼스

오늘 끝나면

AI 가속기 풀스택

  • AI 인프라가 트랜지스터부터 소프트웨어까지 쌓인 9개 층 풀스택임을 설명할 수 있다
  • 각 층이 이 코스의 어느 강(발명)에서 왔는지 연도와 함께 이어 말할 수 있다
  • 층끼리 데이터를 먹이는 구조(메모리 벽)와, 한 층만 빠져도 AI가 멈추는 사슬 구조를 댈 수 있다

실습 미션

오른쪽 탐색기에서 9개 층을 하나씩 눌러 출처 강을 확인하고, 아래쪽 층 하나를 빼서 그 위가 어떻게 무너지는지 직접 확인한다.

성공 조건

  • 각 층을 눌러 그 층이 어느 강에서 왔는지 9개를 다 확인한다
  • 아래층(예: 트랜지스터·HBM)을 빼면 그 위가 전부 무너지는 것을 본다
  • '살아있는 층 9/9'일 때만 AI가 돌아간다는 것을 읽고 설명할 수 있다

트랜지스터 · 가속기 · 데이터센터 · 소프트웨어

AI 가속기 풀스택

AI는 칩 하나로 돌지 않는다. 트랜지스터부터 소프트웨어까지 100년 컴퓨팅이 겹쳐서 한 번 돈다.

NVIDIAGoogleCerebrasGroqOpenAI
P.0126 · AI 가속기 풀스택

AI는 칩 하나가 아니다, 9개 층의 탑

AI 하면 GPU 한 개를 떠올린다. 그러나 그 칩 한 장만으로는 모델이 한 줄도 돌지 않는다.

트랜지스터에서 게이트, 칩, 가속기, 메모리, 서버, 데이터센터, 클라우드, 소프트웨어로 이어진다.

이 9개 층이 아래위로 차곡차곡 쌓여 동시에 받쳐줘야 모델이 비로소 한 번 돈다.

풀스택은 하드웨어 맨 아래 트랜지스터부터 소프트웨어 맨 위까지 전 계층을 묶어 부르는 말이다.

한 개 칩이 아니라, 아래위로 쌓인 9개 층의 탑
AI를 돌리는 9층 스택9 / 9 층
SW하드웨어소프트웨어모델·프레임워크클라우드빌려 쓰는 층데이터센터서버 수만 대서버한 상자에 묶음HBM 메모리데이터를 빨리 먹임GPU / NPUAI 연산 가속기칩 (IC)게이트 수십억 개게이트논리 한 조각트랜지스터켜고 끄는 스위치 1개

GPU 한 장이 아니라, 맨 아래 트랜지스터 1개부터 맨 위 소프트웨어까지 9층이 한 탑임. 이 전부를 묶어 풀스택이라 부름.

P.0226 · AI 가속기 풀스택

100년 컴퓨팅이 한 번에 겹쳐 있다

이 스택의 각 층은 어제 새로 발명된 것이 아니다. 전부 이 코스가 지나온 강들이다.

1947년 트랜지스터(10강) 위에 게이트(11강)가, 그 위에 칩(13강)이, 다시 GPU(22강)가 얹힌다.

메모리(21강)·서버(24강)·데이터센터(25강)·소프트웨어(23강)까지 한 탑 안에 다 들어간다.

벨연구소 트랜지스터부터 오늘 모델까지, 거의 80년 가까운 발명이 동시에 겹쳐 돌아가는 셈이다.

연도 슬라이더, 끌수록 층이 한 개씩 쌓여 탑이 된다
100년 타임라인 · 끌수록 층이 쌓임2024
입력, 연도
19472024
9개 층 쌓임 · 위가 최신
클라우드·AI2024 · 26강 풀스택
데이터센터2020 · 25강 데이터센터
서버2016 · 24강 서버
소프트웨어2012 · 23강 소프트웨어
GPU / NPU2007 · 22강 GPU 병렬
메모리·HBM1999 · 21강 메모리 계층
칩 (IC)1971 · 13강 집적회로
게이트1958 · 11강 논리 게이트
트랜지스터1947 · 10강 트랜지스터
9/ 9 층 완성

1947년 트랜지스터부터 오늘까지, 거의 80년 발명이 한 탑에 겹쳐 쌓였음. 스택의 각 층은 곧 이 코스가 지나온 강임.

P.0326 · AI 가속기 풀스택

층끼리 데이터를 먹여야 산다

층은 그냥 쌓여만 있는 것이 아니다. 아래층이 윗층에 데이터를 빨리 먹여줘야 윗층이 일을 한다.

가속기는 1초에 수천 번 계산을 굶주리는데, HBM 메모리가 그 속도로 데이터를 못 대면 그냥 멈춰 선다.

이것을 메모리 벽이라 부른다. 계산은 빠른데 먹이가 느려서, 빠른 가속기가 절반은 놀게 된다.

그래서 HBM·서버·데이터센터는 '얼마나 빨리 먹이느냐'로 묶인다. 한 층이 굶으면 위층 전체가 굶는다.

메모리 대역폭 슬라이더, 굶기면 가속기가 논다
메모리 벽 · 먹이는 속도가 곧 성능가동률 40%
입력, HBM 대역폭 (먹이는 속도)
느림가속기 속도만큼 빠름
HBM40먹이 호스(대역폭)가속기굶음소화력 100
가속기 가동률
40%놀고 있는 비율 60%

먹이가 소화력보다 느려서 가속기가 60%나 놀고 있음. 계산은 빠른데 데이터가 못 따라오는 이게 메모리 벽임.

P.0426 · AI 가속기 풀스택

한 층만 빠져도 위가 다 무너진다

스택은 탑이 아니라 사슬이다. 아래층이 받쳐주지 않으면 윗층은 설 자리가 없다.

HBM 한 줄을 빼면 가속기가 굶어 멈추고, 그 위 서버·데이터센터·클라우드·소프트웨어가 줄줄이 무너진다.

그래서 한 층만 막혀도 AI 전체가 멈춘다. NVIDIA·Google·Cerebras·Groq가 각 층을 두고 다투는 이유다.

AI를 한 번 돌리는 일은 9개 층이 동시에 살아 있는, 인류가 만든 가장 깊은 풀스택의 결과다.

층을 뽑으면 그 위가 연쇄로 무너지는 걸 세어 본다
사슬 연쇄 · 한 층 뽑으면 위가 무너짐AI 돌아감
층을 눌러 뽑아보셈 · 다시 누르면 도로 넣음
살아있는 층
9/9
AI 추론
돌아감

9층 모두 살아있어야 AI가 한 번 돎. 아래층 하나만 뽑아 보셈, 한 번에 몇 층이 무너지는지 보임.

P.0526 · AI 가속기 풀스택

직접 풀스택 탐색해 보기

오른쪽 탐색기에서 9개 층을 하나씩 눌러, 그 층이 이 코스 어느 강에서 왔는지 확인한다.

각 층에 붙은 토글로 아래층 하나를 빼보면, 그 위가 어떻게 줄줄이 무너지는지 직접 보게 된다.

'살아있는 층 9/9'일 때만 AI 추론이 돌아간다. 8/9만 돼도 멈춤으로 바뀐다.

트랜지스터 한 개부터 모델 소프트웨어까지, 100년이 한 번에 겹쳐야 AI가 돈다는 것을 손으로 확인하는 칸이다.

9층 풀스택 탐색기 · 층 클릭→출처 강 · 토글로 빼면 위가 무너짐
AI 풀스택 · 한 층 빼면 무너짐
AI 추론 상태돌아감 ●
층을 눌러 출처를 보고 · 토글로 한 층을 빼보셈
소프트웨어23강 소프트웨어

모델·프레임워크가 실제로 돌아감

살아있는 층
9/ 9

9층이 전부 살아있어 AI가 돌아감. 트랜지스터 한 개부터 소프트웨어까지, 한 층도 안 빠지고 동시에 받쳐줘야 함. 이게 풀스택임.

3줄 요약

  1. 1AI는 칩 하나가 아니라 트랜지스터부터 소프트웨어까지 9개 층이 쌓인 풀스택이다.
  2. 2각 층은 새 발명이 아니라 이 코스가 지나온 강들이 겹친 것이다. 100년 컴퓨팅이다.
  3. 3아래층이 윗층에 데이터를 먹여야 돌고, 스택은 사슬이라 한 층만 빠져도 그 위가 무너져 AI 전체가 멈춘다.

완료 전 점검

복습 카드

풀스택

하드웨어 맨 아래 트랜지스터부터 소프트웨어 맨 위까지 전 계층

가속기

AI 연산만 전담으로 굴리는 전용 칩(GPU·NPU 등)

HBM

가속기 옆에 쌓아 데이터를 빨리 먹이는 고대역 메모리