오늘 끝나면
데이터센터의 구조
- ✓데이터센터의 구조의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 데이터센터의이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
GPU 서버, 랙, 네트워크, 전력, 냉각 — AI는 칩 하나가 아니라 건물 전체가 함께 계산하는 시스템 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
25 · AI 인프라
데이터센터의
구조
AI는 GPU 하나가 혼자 계산하는 그림이 아닙니다. 사용자의 요청이 네트워크를 타고 들어오고, CPU 서버가 일을 나누고, GPU 클러스터가 계산하고, HBM이 데이터를 먹이고, 전력과 냉각이 전체 속도를 제한합니다.
AI는 건물 전체가 계산한다
데이터센터를 이해하면 NVIDIA, HBM, 클라우드 뉴스가 한 번에 연결됩니다.
사용자 요청이 늘면 GPU만 바쁜 게 아닙니다. 네트워크, 메모리, 스토리지, 냉각도 같이 올라갑니다.
모델이 커지면 특히 HBM과 GPU 간 통신이 중요해집니다. 그래서 AI 시대에는 칩 성능뿐 아니라 서버, 랙, 네트워크, 전력 설계가 함께 경쟁력이 됩니다.
Interactive map
AI 요청이 데이터센터를 지나가는 길
Rack view
GPU 병목
readout
지금은 GPU 병목이 먼저 보입니다. AI 성능은 GPU 개수만이 아니라 HBM, 네트워크, 전력, 냉각이 같이 버티는 정도로 결정됩니다.
회사들은 서로 다른 층을 맡는다
반도체 뉴스가 재미있어지는 지점은 회사별 역할이 다르다는 데 있습니다.
NVIDIA·AMD는 가속기, SK hynix·Samsung·Micron은 메모리, TSMC·Samsung은 제조, ASML은 EUV 장비, AWS·Microsoft Azure·Google Cloud는 데이터센터 운영과 클라우드 서비스를 맡습니다.
그래서 “GPU가 부족하다”는 말은 실제로는 칩, HBM, 패키징, 네트워크, 전력, 데이터센터 공간이 모두 엮인 문제입니다.
layer 01
클라우드/운영
AWS · Microsoft Azure · Google Cloud · Equinix
layer 02
가속기
NVIDIA · AMD · Intel · Google TPU
layer 03
메모리
SK hynix · Samsung · Micron
layer 04
제조/패키징
TSMC · Samsung · Intel Foundry
layer 05
장비
ASML · Applied Materials · Lam Research
칩에서 인프라로 시야를 넓힌다
이 장의 목표는 데이터센터 부품명을 외우는 게 아닙니다.
GPU는 계산, HBM은 먹이는 속도, 네트워크는 여러 GPU를 묶는 길, 전력·냉각은 천장이라는 감각을 잡으면 됩니다.
다음 단계에서는 이 전체 구조 위에 CUDA, NPU, TPU, 패키징, 클라우드 소프트웨어가 어떻게 얹히는지 풀스택으로 정리합니다.
Compute
GPU가 행렬 계산을 병렬로 처리
Memory
HBM이 데이터를 빠르게 공급
Network
여러 서버와 GPU를 하나처럼 연결
Power
전력과 냉각이 확장 한계를 결정