오늘 끝나면
안전과 신뢰성
- ✓안전과 신뢰성의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 안전과이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
물리세계의 실패는 진짜 사고 — 안전 설계 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
Physical AI · 22
안전과
신뢰성
물리세계에서 실패는 화면 속 버그가 아니라 진짜 사고다.
그래서 페일세이프, 리던던시, 비상정지로 겹겹이 방어한다.
확신이 없으면 멈추고, 검증으로 신뢰를 쌓아야 비로소 배포한다.
실패가 진짜 사고가 되는 세계
웹 앱이 죽으면 새로고침하면 된다. 로봇이 죽으면 사람이 다칠 수 있다.
화면 속 소프트웨어의 실패는 대개 되돌릴 수 있다. 예외가 나면 다시 띄우고, 데이터가 깨지면 백업에서 복구한다.
그런데 Physical AI는 모터와 바퀴와 관절로 진짜 세계를 움직인다. 한 번 친 물체는 안 친 걸로 되돌릴 수 없다.
그래서 같은 “버그”여도 결과의 무게가 다르다.
자율주행차의 인식 오류, 산업로봇의 오동작, 드론의 추락은 전부 물리적 손상과 인명 피해로 곧장 이어진다.
물리세계엔 Ctrl+Z가 없다. 그래서 사고를 사후에 되돌리는 게 아니라 애초에 막는 설계가 1순위다.
안전은 기능이 다 된 뒤 얹는 게 아니라, 처음부터 제어 루프에 박혀 있어야 한다.
페일세이프 · 리던던시 · 비상정지
완벽한 부품은 없다. 센서는 가려지고, 코드엔 버그가 있고, 모터는 언젠가 탄다. 그러니 “실패한다”를 전제로 설계한다.
페일세이프(fail-safe)는 고장 났을 때 안전한 상태로 떨어지게 만드는 것이다.
전원이 끊기면 브레이크가 풀리는 게 아니라 잠기고, 신호가 끊기면 가속이 아니라 감속한다. 실패의 기본값이 “정지”다.
리던던시(redundancy)는 같은 일을 여러 개로 겹쳐 두는 것이다.
센서 하나가 죽어도 다른 센서가 받치고, 핵심 컴퓨터가 멈춰도 예비 컴퓨터가 이어받는다. 한 점이 무너져도 전체는 버틴다.
비상정지(E-stop)는 그 모든 위에 놓인 최후의 스위치다.
사람이 누르든 감시 로직이 걸든, 누르는 순간 정상 제어를 건너뛰고 모터 전원을 물리적으로 끊는다. 가장 단순해서 가장 믿을 수 있다.
공통 원칙은 실패의 기본값을 언제나 “안전(정지)”으로 둔다는 것이다.
안전 계층을 직접 작동시키기
세 시나리오에서 안전 계층이 어떻게 반응하는지 본다.
정상은 센서도 멀쩡하고 길도 비었으니 로봇이 목표까지 끝까지 간다. 안전 계층은 위반이 없으면 통과만 시킨다.
센서 고장은 트랙 중간에서 거리센서가 응답을 끊는다(타임아웃). 전방이 안 보이면 안전을 보장하지 못하므로 페일세이프가 즉시 정지시킨다.
장애물은 전방에 사람이나 벽이 있는 경우다. 점선이 정지 거리이고, 장애물이 그 안에 들어오는 순간 비상정지가 모터를 끊어 충돌 전에 세운다.
모든 조건 안전, 주행 계속
정상, 모든 조건이 안전하니 목표까지 끝까지 간다. 안전 계층은 통과만 시킨다.
불확실하면 멈춰라
AI는 항상 확률로 본다. “사람일 확률 60%” 같은 애매한 순간이 늘 생긴다. 그 순간 어떻게 행동하느냐가 안전을 가른다.
화면 속 모델이라면 애매할 때 일단 추측해도 된다. 틀리면 다음에 고치면 그만이다.
그런데 물리세계에선 애매한데도 밀고 나가는 게 가장 위험하다. 60% 확신으로 사람을 향해 가속하면 안 된다.
그래서 원칙은 확신이 충분할 때만 행동하고, 불확실하면 멈춘다이다.
센서 신호가 흐릿하거나, 인식 확신이 임계값 아래거나, 상황이 학습 범위를 벗어나면(out-of-distribution) 전진이 아니라 감속과 정지를 기본값으로 둔다.
유능한 자율 시스템은 모르면서 밀어붙이는 게 아니라 모르면 안전하게 멈추고 도움을 청한다.
학습 범위 밖(OOD), 흐릿한 센서, 낮은 확신은 전부 임계값 왼쪽이라 멈춘다.
검증이 곧 배포의 전제
잘 만들었다고 바로 길에 풀지 않는다. 안전은 “괜찮을 거야”가 아니라 증거로 보여야 한다.
시뮬레이션 테스트는 수백만 가지 상황을 가상에서 미리 돌려 본다.
야간, 빗길, 갑자기 튀어나오는 보행자 같은 위험 시나리오를 실제로 만들지 않고도 수없이 던져 본다.
형식 검증(formal verification)은 “어떤 입력에도 이 조건은 절대 안 깨진다”를 수학으로 증명한다.
테스트가 “해본 경우는 통과”라면, 형식 검증은 “모든 경우에 안전”을 보장한다. 충돌 회피 같은 핵심 규칙에 쓴다.
그다음 통제된 실차 테스트, 그리고 점진 배포로 좁은 영역부터 천천히 넓힌다.
이 모든 단계가 쌓여 신뢰가 되고, 신뢰가 서야 배포한다.
Q. Physical AI 안전 설계의 기본은?
페일세이프와 리던던시다.페일세이프는 고장 나도 안전한 상태(보통 정지)로 떨어지게 한다. 실패의 기본값을 “안전”으로 둔다.
리던던시는 센서와 컴퓨터를 겹쳐 둬서 한 점이 무너져도 다른 겹이 받친다.
그 위에 비상정지가 최후의 스위치로 얹히고, “불확실하면 멈춘다” 원칙과 형식 검증, 시뮬 테스트가 신뢰를 채운다.
검증으로 신뢰가 서야 비로소 배포한다. 안전은 증거로 보인다.