스킬캠퍼스

오늘 끝나면

자율주행 기초

  • 자율주행 기초의 핵심 문제를 한 문장으로 설명한다
  • 오른쪽 실습에서 자율주행이 어떻게 움직이는지 관찰한다
  • 다음 강의와 이어지는 한계를 말할 수 있다

실습 미션

인지·판단·제어 — 스스로 달리는 파이프라인 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.

성공 조건

  • 실습의 기본값을 먼저 관찰
  • 입력값이나 모드를 한 번 이상 바꿔 결과 비교
  • 왜 결과가 바뀌었는지 한 문장으로 설명

Physical AI · 21

자율주행
기초

차가 스스로 움직이려면 인지와 판단과 제어, 이 세 가지를 반복한다.
주변을 읽고(인지), 어디로 갈지 정하고(판단), 핸들과 페달을 움직인다(제어).
기술의 80%는 평범한 도로용이다. 진짜 난관은 어쩌다 한 번 나오는 희귀한 상황, 즉 롱테일이다.

P.01Physical AI · 21

인지에서 판단으로, 그리고 제어로

사람이 운전할 때 머릿속에서 도는 과정을 그대로 기계로 옮긴 것이 자율주행이다.

첫째는 인지(perception)다. 카메라와 라이다와 레이더로 주변을 읽는다.
차선과 신호, 다른 차, 보행자가 어디 있는지 지금 장면을 숫자로 만든다.

둘째는 판단(planning)이다. 읽은 장면을 놓고 다음 행동을 정한다.
이 차선을 유지할지, 끼어들지, 멈출지, 어느 경로로 갈지 고른다.

셋째는 제어(control)다. 정한 행동을 실제 조작으로 옮긴다.
조향각과 가속, 제동을 PID 같은 제어기로 부드럽게 출력한다.
이 세 단계가 1초에 수십 번 돌면서 차가 굴러간다.

자율주행이 1초에 수십 번 반복하는 루프
자율주행의 한 가지 루프
인지perception
카메라·라이다·레이더
주변을 숫자로 옮긴다. 차선·신호·차·사람이 어디 있나
판단planning
경로 · 행동 결정
유지·끼어들기·정지 중 뭘 할지 고른다
제어control
조향 · 가속 · 제동
PID로 부드럽게 출력한다. 핸들과 페달

1초에 수십 번, 돌고 또 돌면서 차가 굴러간다

P.02Physical AI · 21

차 시점으로 한 프레임씩 돌려보기

한 사이클은 전방을 스캔해 보행자가 잡히는지 보고(인지), 위험하면 정지하고 아니면 주행을 고르고(판단), 그대로 가감속한다(제어).

보행자를 세워 두면 센서 범위에 들어오는 순간 감속하고, 너무 가까우면 속도를 0으로 떨군다.

인지 거리를 줄이면 멀리 못 보고 코앞에서야 반응해서 위험하다. 인지 성능이 안전을 가르는 이유가 여기에 있다.

보행자를 세워두고 인지·판단·제어를 관찰한다
자율주행 파이프라인 · 차 시점
인지
전방 클리어
판단
주행
제어
속도 0.0
인지 거리 (센서)22

멀리 볼수록 일찍 감속하고 정지한다. 짧으면 코앞에서야 반응해 위험하다.

한 프레임의 판단

출발 전이다. 스텝을 눌러 보자.

P.03Physical AI · 21

자율 레벨 0~5

“자율주행”은 한 덩어리가 아니다. SAE가 0부터 5까지 여섯 단계로 나눠놨다.

가르는 기준은 화려한 기능이 아니라 누가 운전 책임을 지느냐다.
레벨 2까지는 사람이 주체다. 차는 도와줄 뿐이고, 손은 핸들에 있어야 한다.

레벨 3부터 책임이 차로 넘어간다. 단, 정해진 조건(ODD) 안에서만이다.
레벨 4는 그 영역 안에선 운전자가 필요 없고, 레벨 5는 조건 자체가 없다(아직 상용은 없다).

오늘 파는 대부분의 양산차는 레벨 2다.
레벨 2와 3 사이의 간극이 가장 크다. 책임이 넘어가는 순간이기 때문이다.

SAE 기준, 누가 책임지느냐로 나뉜다
SAE 레벨 0–5
Lv이름주체
0비자동경고만 하고 차는 개입 안 한다사람
1보조조향이나 속도 중 하나만 돕는다사람
2부분 자동둘 다 돕지만 손은 핸들에 (대부분 양산차)사람
3조건부 자동조건 안에선 차가, 요청 시 사람이 복귀차*
4고도 자동정해진 영역(ODD) 안에선 사람이 불필요
5완전 자동어디서나 가능하나 아직 상용은 없다
가르는 기준 = 운전 책임이 사람에서 차로 넘어가는 선
P.04Physical AI · 21

롱테일, 마지막 1%가 제일 어렵다

맑은 날 텅 빈 고속도로는 쉽다. 데모는 다 잘 된다. 문제는 그다음이다.

도로엔 거의 안 나오지만 분명히 나오는 상황이 끝없이 있다. 이런 걸 엣지케이스라 한다.
역광에 안 보이는 신호, 도로 위에 떨어진 매트리스, 신호 무시하는 사람, 눈 덮인 차선, 공사장 수신호 같은 것들이다.

이런 케이스 하나하나는 드물지만 종류가 무한히 많다. 다 합치면 꼬리가 길게 늘어지는데, 이것이 롱테일이다.
그래서 99% 동작하는 데까진 빨리 가도, 마지막 1%에서 몇 년씩 걸린다.

시속 100km에서 1%의 오판은 곧 사고다.
그래서 이 분야는 평균 성능이 아니라 최악의 경우로 평가한다. 안전이 전부다.

흔한 99%는 쉽고, 희귀한 1%가 발목을 잡는다
상황별 발생 빈도, 꼬리가 길다
맑은 직선도로
차선변경
교차로
악천후
야간 역광
공사장·수신호

파란 꼬리는 드물지만 무한히 많은 엣지케이스, 곧 마지막 1%다

P.05Physical AI · 21

안전이 전부다

정리하면 자율주행은 인지와 판단과 제어의 루프를 안전하게 닫는 일이다.

한 번 틀려도 되는 추천 알고리즘과는 다르다. 여기선 한 번의 오판이 사람을 다치게 한다.
그래서 센서를 겹쳐 달고(중복화), 부품이 죽어도 멈춰 설 수 있게(페일세이프) 설계한다.

자율주행의 척도는 멋진 기능이 아니라 최악의 경우를 얼마나 줄였느냐다.

Q. 자율주행이 1초에 수십 번 반복하는 3단계는? (순서대로)정답은 인지, 판단, 제어 순서다.
주변을 읽고(인지, perception), 다음 행동과 경로를 정하고(판단, planning), 조향과 가감속으로 옮긴다(제어, control).
이 루프가 끊임없이 돌면서 차가 스스로 굴러간다.
평균이 아니라 최악으로 평가하는 이유
추천 알고리즘 vs 자율주행
추천 · 검색

평균

한 번 틀려도 된다.
10번 중 9번 좋으면 성공이다.

자율주행

최악

한 번의 오판이 곧 사고다.
꼬리의 끝까지 막아야 한다.

중복화, 센서를 겹쳐 달아 하나가 죽어도 본다
페일세이프, 고장 나면 안전하게 멈춰 선다

3줄 요약

  1. 1인지·판단·제어 — 스스로 달리는 파이프라인
  2. 2자율주행 기초은 하드웨어 → 제어·비전 → 로보틱스·RL → LLM 연동 → 자율주행·프로젝트 흐름 안의 한 칸이다.
  3. 3개념을 외우는 것보다 입력을 바꾸면 무엇이 달라지는지 보는 것이 우선이다.

완료 전 점검

복습 카드

자율주행

인지·판단·제어 — 스스로 달리는 파이프라인

센서

빛·거리·온도 같은 물리 신호를 숫자로 바꾸는 부품

액추에이터

전기 신호를 움직임으로 바꾸는 부품(모터 등)