오늘 끝나면
엣지 AI
- ✓엣지 AI의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 엣지이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
클라우드 없이 기기에서 바로 추론하기 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
Physical AI · 10
엣지
AI
클라우드를 안 거치고 기기에서 바로 추론한다.
지연이 짧고 데이터가 밖으로 안 나가고 망이 끊겨도 돈다.
대신 작은 모델에 약한 칩이라 양자화로 줄여 끼워 넣는다. 로봇은 실시간이라 엣지가 필수다.
기기에서 바로 추론한다
엣지 AI는 추론을 클라우드로 안 보내고 기기 그 자리에서 끝내는 방식이다.
보통 AI는 데이터를 서버로 올리고, 거대한 GPU가 추론하고, 결과를 다시 내려받는다.
엣지는 이 왕복을 통째로 없앤다. 카메라 옆 칩이 바로 보고 바로 판단한다.
여기서 “엣지(edge)”는 네트워크의 가장자리, 즉 데이터가 생기는 그 끝단이다.
돌리는 칩은 손바닥만 하다.
Raspberry Pi 같은 작은 컴퓨터, 폰의 NPU, 전용 가속기(Coral·Jetson) 위에서 모델이 직접 돈다.
학습은 여전히 서버에서 무겁게 하고, 다 만든 모델만 기기로 내려보내 추론에 쓴다.
그래서 엣지의 일은 추론(inference) 한 가지다.
이미 배운 모델을 받아 현장에서 빠르게 답만 내는 역할이다.
왕복 지연 + 망 필요 + 데이터 유출
왕복 0 · 망 불필요 · 원본 안 나간다
왜 엣지인가, 지연·프라이버시·오프라인
서버 GPU가 더 세고 정확한데도 약한 칩에서 돌리는 이유는 세 가지다.
첫째, 지연(latency)이다.
클라우드는 데이터를 보내고 받는 왕복 시간이 깔린다. 빨라야 수십에서 수백 ms다.
엣지는 그 왕복이 0이다. 칩 위에서 바로 답하니 한참 빠르다.
둘째, 프라이버시다.
얼굴, 음성, 집안 영상은 밖으로 내보내기 싫다.
엣지는 원본이 기기를 안 떠난다. 새어 나갈 통로 자체가 줄어든다.
셋째, 오프라인이다.
터널이나 지하, 산속에선 네트워크가 끊긴다. 클라우드에 의존하는 기기는 그 순간 멍청해진다.
엣지는 끊겨도 멀쩡히 돈다. 망이 없어도 혼자 판단한다.
| 클라우드 | 엣지 | |
|---|---|---|
| 지연 | 왕복 수십~수백 ms | 칩 위에서 즉시 |
| 프라이버시 | 원본을 서버로 전송 | 기기를 안 떠난다 |
| 오프라인 | 망 끊기면 먹통 | 끊겨도 혼자 돈다 |
대신 클라우드는 더 크고 정확한 모델을 굴린다. 엣지는 그걸 양보한다.
경량화의 대가, 작은 모델·연산 제약
공짜는 아니다. 엣지 칩은 메모리도 연산도 전력도 빠듯하다. 큰 모델을 그대로 못 올린다.
그래서 모델을 줄인다. 대표가 양자화(quantization)다.
가중치를 32비트 실수에서 8비트 정수로 낮추면 용량이 4분의 1로 줄고 연산은 더 빨라진다.
숫자를 거칠게 반올림하는 셈이라 정확도가 조금 깎이지만 보통 견딜 만하다.
모델 구조 자체를 가볍게 짜기도 한다.
MobileNet 같은 모바일용 신경망은 연산을 잘게 쪼개 무게를 확 줄인다.
쓸데없는 연결을 쳐내는 가지치기(pruning), 큰 모델 지식을 작은 모델에 옮기는 증류(distillation)도 같이 쓴다.
결과는 트레이드오프다.
작고 빠른 모델을 얻는 대신 정확도 몇 %를 내준다. 현장에 맞게 어디까지 줄일지 고른다.
작고 빠른 모델을 얻는 대신 정확도 몇 %를 내준다. 칩에 끼워 넣으려는 대가다.
엣지 vs 클라우드를 직접 비교
같은 추론을 엣지와 클라우드로 각각 돌렸을 때 지연, 프라이버시, 정확도가 어떻게 갈리는지 막대로 비교한다.
작업은 자율주행 회피, 호출어 감지, 얼굴 잠금, 장문 번역 네 가지다.
호출어나 얼굴처럼 민감하고 실시간인 건 엣지가 압도적이다. 빠르고 데이터도 안 나간다.
반대로 장문 번역은 모델이 너무 커서 엣지에 안 올라간다. 클라우드로 보내야 한다.
네트워크를 오프라인으로 바꾸면 클라우드는 응답 불가가 되고, 엣지만 그대로 돈다.
앞에 튀어나온 사람·차를 즉시 감지
풀 모델 ≈ 240MB · 데이터 민감도 50%
기기 안에서 바로
왕복 네트워크 + 서버 연산
엣지는 양자화·경량 모델이라 보통 살짝 떨어진다.
실시간 반응이 핵심이면 엣지가 유리하다. 지연이 짧고 끊겨도 돌지만, 대신 정확도와 모델 크기를 양보한다.
로봇은 실시간이라 엣지가 필수
물리적으로 움직이는 기기에선 엣지가 선택이 아니라 필수다. 이유는 실시간성이다.
자율주행차가 시속 100km로 달리면 1초에 약 28m를 간다.
앞에 사람이 튀어나왔는데 판단을 서버로 보내 왕복하면 그 사이 차는 이미 한참 더 나아간다.
0.1초 지연도 1에서 3m 차이를 만든다. 멈출 거리에선 사고와 회피를 가르는 거리다.
드론 균형 잡기, 로봇 팔 충돌 회피, 다리 보행 제어도 똑같다.
이 루프들은 초당 수백에서 수천 번 돌아야 한다. 매번 클라우드를 왕복하는 건 애초에 불가능하다.
앞서 배운 피드백 제어(PID)와 센서 융합이 전부 기기 안에서 즉시 돌아야 하는 이유다.
그래서 로봇은 엣지에서 즉시 판단하고, 클라우드는 무거운 학습이나 지도 갱신 같은 느린 일만 맡는다.
빠른 반사는 몸에, 느린 사고는 서버에 둔다. 이렇게 역할을 나눠 쓴다.
Q. 자율주행이 엣지 추론을 쓰는 이유는?
실시간 지연을 줄이려고다.판단을 클라우드로 왕복시키면 그 수십에서 수백 ms 사이에 차가 이미 몇 m를 더 간다.
멈출 거리에선 그 지연이 사고와 회피를 가른다. 그래서 기기 위에서 바로 추론해야 한다.
덤으로 터널처럼 망이 끊겨도 도는 안전판이 된다.
판단이 늦은 만큼 차는 더 나아간다. 왕복 지연 0.1초가 멈출 거리에선 사고와 회피를 가른다.