스킬캠퍼스
26 · AI 가속기 풀스택
강의

오늘 끝나면

AI 가속기 풀스택

  • AI 인프라가 트랜지스터부터 소프트웨어까지 쌓인 9개 층 풀스택임을 설명할 수 있음
  • 각 층이 이 코스의 어느 강(발명)에서 왔는지 연도와 함께 이어 말할 수 있음
  • 층끼리 데이터를 먹이는 구조(메모리 벽)와, 한 층만 빠져도 AI가 멈추는 사슬 구조를 댈 수 있음

실습 미션

오른쪽 탐색기에서 9개 층을 하나씩 눌러 출처 강을 확인하고, 아래쪽 층 하나를 빼서 그 위가 어떻게 무너지는지 직접 확인해 보셈.

성공 조건

  • 각 층을 눌러 그 층이 어느 강에서 왔는지 9개를 다 확인함
  • 아래층(예: 트랜지스터·HBM)을 빼면 그 위가 전부 무너지는 걸 봄
  • '살아있는 층 9/9'일 때만 AI가 돌아감을 읽고 설명할 수 있음

트랜지스터 · 가속기 · 데이터센터 · 소프트웨어

AI 가속기 풀스택

AI는 칩 하나로 안 돔. 트랜지스터부터 소프트웨어까지 100년 컴퓨팅이 겹쳐서 한 번 돎.

NVIDIAGoogleCerebrasGroqOpenAI
P.0126 · AI 가속기 풀스택

AI는 칩 하나가 아니다 — 9개 층의 탑

AI 하면 GPU 한 개를 떠올림. 근데 그 칩 한 장만으론 모델이 한 줄도 안 돎.

트랜지스터 → 게이트 → 칩 → 가속기 → 메모리 → 서버 → 데이터센터 → 클라우드 → 소프트웨어.

이 9개 층이 아래위로 차곡차곡 쌓여 동시에 받쳐줘야 모델이 비로소 한 번 돎.

풀스택은 하드웨어 맨 아래 트랜지스터부터 소프트웨어 맨 위까지, 전 계층을 묶어 부르는 말임.

한 개 칩이 아니라, 아래위로 쌓인 9개 층의 탑
AI를 돌리는 9층 스택9 / 9 층
SW하드웨어소프트웨어모델·프레임워크클라우드빌려 쓰는 층데이터센터서버 수만 대서버한 상자에 묶음HBM 메모리데이터를 빨리 먹임GPU / NPUAI 연산 가속기칩 (IC)게이트 수십억 개게이트논리 한 조각트랜지스터켜고 끄는 스위치 1개

GPU 한 장이 아니라, 맨 아래 트랜지스터 1개부터 맨 위 소프트웨어까지 9층이 한 탑임. 이 전부를 묶어 풀스택이라 부름.

P.0226 · AI 가속기 풀스택

100년 컴퓨팅이 한 번에 겹쳐 있다

이 스택의 각 층은 어제 새로 발명된 게 아님. 전부 이 코스가 지나온 강들임.

1947년 트랜지스터(10강) 위에 게이트(11강), 그 위에 칩(13강), 다시 GPU(22강)가 얹힘.

메모리(21강)·서버(24강)·데이터센터(25강)·소프트웨어(23강)까지 한 탑 안에 다 들어감.

벨연구소 트랜지스터부터 오늘 모델까지, 거의 80년 가까운 발명이 동시에 겹쳐 돌아가는 셈임.

연도 슬라이더 — 끌수록 층이 한 개씩 쌓여 탑이 됨
100년 타임라인 · 끌수록 층이 쌓임2024
입력 — 연도
19472024
9개 층 쌓임 · 위가 최신
클라우드·AI2024 · 26강 풀스택
데이터센터2020 · 25강 데이터센터
서버2016 · 24강 서버
소프트웨어2012 · 23강 소프트웨어
GPU / NPU2007 · 22강 GPU 병렬
메모리·HBM1999 · 21강 메모리 계층
칩 (IC)1971 · 13강 집적회로
게이트1958 · 11강 논리 게이트
트랜지스터1947 · 10강 트랜지스터
9/ 9 층 완성

1947년 트랜지스터부터 오늘까지, 거의 80년 발명이 한 탑에 겹쳐 쌓였음. 스택의 각 층은 곧 이 코스가 지나온 강임.

P.0326 · AI 가속기 풀스택

층끼리 데이터를 먹여야 산다

층은 그냥 쌓여만 있는 게 아님. 아래층이 윗층에 데이터를 빨리 먹여줘야 윗층이 일을 함.

가속기는 1초에 수천 번 계산을 굶주리는데, HBM 메모리가 그 속도로 데이터를 못 대면 그냥 멈춰 섬.

이걸 메모리 벽이라 부름 — 계산은 빠른데 먹이가 느려서, 빠른 가속기가 절반은 놀게 됨.

그래서 HBM·서버·데이터센터는 '얼마나 빨리 먹이느냐'로 묶임. 한 층이 굶으면 위층 전체가 굶음.

메모리 대역폭 슬라이더 — 굶기면 가속기가 논다
메모리 벽 · 먹이는 속도가 곧 성능가동률 40%
입력 — HBM 대역폭 (먹이는 속도)
느림가속기 속도만큼 빠름
HBM40먹이 호스(대역폭)가속기굶음소화력 100
가속기 가동률
40%놀고 있는 비율 60%

먹이가 소화력보다 느려서 가속기가 60%나 놀고 있음. 계산은 빠른데 데이터가 못 따라오는 이게 메모리 벽임.

P.0426 · AI 가속기 풀스택

한 층만 빠져도 위가 다 무너진다

스택은 탑이 아니라 사슬임. 아래층이 받쳐주지 않으면 윗층은 설 자리가 없음.

HBM 한 줄을 빼면 가속기가 굶어 멈추고, 그 위 서버·데이터센터·클라우드·소프트웨어가 줄줄이 무너짐.

그래서 한 층만 막혀도 AI 전체가 멈춤. NVIDIA·Google·Cerebras·Groq가 각 층을 두고 다투는 이유임.

AI 한 번 돌리는 건 9개 층이 동시에 살아 있는, 인류가 만든 가장 깊은 풀스택의 결과임.

층을 뽑으면 그 위가 연쇄로 무너지는 걸 세어 봄
사슬 연쇄 · 한 층 뽑으면 위가 무너짐AI 돌아감
층을 눌러 뽑아보셈 · 다시 누르면 도로 넣음
살아있는 층
9/9
AI 추론
돌아감

9층 모두 살아있어야 AI가 한 번 돎. 아래층 하나만 뽑아 보셈 — 한 번에 몇 층이 무너지는지 보임.

P.0526 · AI 가속기 풀스택

직접 풀스택 탐색해 보기

오른쪽 탐색기에서 9개 층을 하나씩 눌러, 그 층이 이 코스 어느 강에서 왔는지 확인할 것.

각 층에 붙은 토글로 아래층 하나를 빼보면, 그 위가 어떻게 줄줄이 무너지는지 직접 보게 됨.

'살아있는 층 9/9'일 때만 AI 추론이 돌아감 — 8/9만 돼도 멈춤으로 바뀜.

트랜지스터 한 개부터 모델 소프트웨어까지, 100년이 한 번에 겹쳐야 AI가 돈다는 걸 손으로 확인하는 칸임.

9층 풀스택 탐색기 · 층 클릭→출처 강 · 토글로 빼면 위가 무너짐
AI 풀스택 · 한 층 빼면 무너짐
AI 추론 상태돌아감 ●
층을 눌러 출처를 보고 · 토글로 한 층을 빼보셈
소프트웨어23강 소프트웨어

모델·프레임워크가 실제로 돌아감

살아있는 층
9/ 9

9층이 전부 살아있어 AI가 돌아감. 트랜지스터 한 개부터 소프트웨어까지, 한 층도 안 빠지고 동시에 받쳐줘야 함. 이게 풀스택임.

3줄 요약

  1. 1AI는 칩 하나가 아니라 트랜지스터부터 소프트웨어까지 9개 층이 쌓인 풀스택임.
  2. 2각 층은 새 발명이 아니라 이 코스가 지나온 강들이 겹친 것임 — 100년 컴퓨팅.
  3. 3아래층이 윗층에 데이터를 먹여야 돌고, 스택은 사슬이라 한 층만 빠져도 그 위가 무너져 AI 전체가 멈춤.

완료 전 점검

복습 카드

풀스택

하드웨어 맨 아래 트랜지스터부터 소프트웨어 맨 위까지 전 계층

가속기

AI 연산만 전담으로 굴리는 전용 칩(GPU·NPU 등)

HBM

가속기 옆에 쌓아 데이터를 빨리 먹이는 고대역 메모리