오늘 끝나면
센서 퓨전
- ✓센서 퓨전의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 센서이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
카메라·라이다·IMU — 여러 감각을 합치다 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
Physical AI · 18
센서
퓨전
센서 하나는 늘 불완전하다. 카메라는 색이 풍부하고, 라이다는 거리가 정확하고, IMU는 자세를 읽는다.
여러 감각을 칼만 필터로 합치면 서로의 약점이 메워져 더 정확하고 강건해진다.
그래서 자율주행은 센서 퓨전 없이는 굴러가지 못한다.
센서 하나는 늘 불완전하다
완벽한 센서는 없다. 어떤 센서든 잘 재는 양과 못 재는 양이 따로 있다.
카메라는 색과 질감, 글자를 풍부하게 본다. 신호등 색이나 차선, 표지판은 카메라만 읽는다.
하지만 한 장의 사진으로는 거리를 직접 재지 못한다. 어둠과 역광, 안개에 약하고 깊이는 추정일 뿐이다.
라이다(LiDAR)는 레이저를 쏴 되돌아오는 시간으로 거리를 직접 잰다. 센티미터 단위의 3D 점구름을 만든다.
대신 색을 보지 못하고, 점이 띄엄띄엄하며, 비나 눈, 먼지에 산란되고 비싸다.
IMU는 가속도계와 자이로로 기울기와 회전, 즉 자세(orientation)를 빠르게 읽는다. 카메라와 라이다 사이의 빈 시간을 메운다.
단 적분으로 위치를 쌓다 보면 오차가 누적되어 표류(drift)한다.
한 센서만 믿으면 그 센서의 약점이 곧 시스템의 약점이 된다.
| 센서 | 잘 봄 | 못 봄 |
|---|---|---|
| 카메라 | 색 · 질감 · 글자 | 거리 추정 · 어둠/안개 |
| 라이다 | 정확한 3D 거리 | 색 없음 · 비/먼지 · 고가 |
| IMU | 자세 · 빠른 갱신 | 위치 표류(drift) |
한 센서만 믿으면 그 약점이 곧 시스템의 약점이 된다.
여러 감각을 합치면 약점이 메워진다
핵심 발상은 단순하다. 각 센서가 잘하는 쪽만 골라 쓰면 된다.
카메라는 화면 속 가로 위치, 즉 방향은 또렷하게 짚지만 거리는 흐릿하다.
라이다는 거리는 칼같이 재지만 가로 분해능이 거칠어 좌우가 뭉툭하다.
둘의 강점이 정확히 서로의 약점을 덮는다.
그래서 가로는 카메라를 더 믿고 세로, 즉 거리는 라이다를 더 믿으면 어느 한 축도 흐릿하지 않은 추정이 나온다.
이것이 센서 퓨전(sensor fusion)이다. 여러 측정을 합쳐 어느 하나보다 나은 추정을 만드는 일이다.
밤에는 라이다와 레이더가 카메라를 받쳐 주고, 비가 오면 카메라와 레이더가 라이다를 메워 준다.
하나가 약해지는 상황에서 다른 하나가 버틴다. 정확성만이 아니라 강건성(robustness)을 얻는 것이다.
가로는 카메라, 세로는 라이다. 강점만 골라 합치면 어느 축도 흐릿하지 않다.
칼만 필터, 믿는 만큼 가중한다
측정을 합치는 표준 도구가 칼만 필터(Kalman filter)다. 1960년대에 나와 아폴로 항법에도 쓰인 고전이다.
두 박자로 돈다.
예측은 직전 상태와 운동 모델(IMU·속도)로 “지금쯤 여기 있겠지”를 먼저 그린다.
갱신은 새 측정이 들어오면 예측과 측정을 섞어 추정을 보정한다.
이때 섞는 비율이 핵심이다. 더 확실한 쪽, 즉 분산이 작은 쪽을 더 믿는데 이것을 역분산 가중(inverse-variance weighting)이라 한다.
카메라의 거리는 분산이 크니 적게 믿고, 라이다의 거리는 분산이 작으니 많이 믿는다.
그 가중치를 칼만 이득(Kalman gain)이라 부른다.
그래서 합친 추정은 두 측정 중 어느 것보다도 불확실성이 작아진다. 정보가 더해지기 때문이다.
비선형이면 EKF나 UKF로, 다중 가설이면 파티클 필터로 확장하지만 저울질의 원리는 같다.
더 확실한 측정에 더 큰 칼만 이득을 준다. 축마다 믿는 센서가 다르다.
직접 합쳐 보기
모드를 카메라만, 라이다만, 퓨전으로 바꾸며 추정이 어떻게 달라지는지 본다.
검은 점이 진짜 위치, 파란 점이 현재 모드의 추정이다.
카메라만은 좌우는 잘 따라가는데 거리(위아래)로 출렁인다. 라이다만은 위아래는 붙는데 좌우로 흔들린다.
퓨전으로 바꾸면 두 출렁임이 함께 잦아들어 점이 진짜에 딱 붙는다.
이제 강건성을 시험한다. 센서 가리기로 카메라를 꺼 본다.
카메라 모드는 추정이 끊기지만, 퓨전 모드는 라이다만으로도 계속 추정을 유지한다.
반대로 라이다를 가려도 마찬가지다. 하나가 죽어도 시스템은 버틴다.
단 둘 다 가리면 융합도 하지 못한다. 합칠 측정이 0이기 때문이다.
퓨전은 가로는 카메라, 세로는 라이다를 더 믿어 둘 다 정확하다. 점이 진짜에 딱 붙는다.
자율주행은 퓨전 없이 못 굴러간다
그래서 자율주행차는 한 종류 센서만 쓰지 않는다. 여러 센서를 겹쳐 깔고 퓨전으로 묶는다.
카메라로 차선과 신호, 표지판을 읽고, 라이다로 정밀한 3D 거리를 잡고, 레이더로 비와 안개 속 속도를 재고, IMU와 GPS로 자기 자세와 위치를 추적한다.
이 측정들이 칼만 계열 필터로 묶여 하나의 일관된 세계 모델이 된다. 무엇이 어디에 얼마나 빠르게 있는지 담는 모델이다.
핵심은 중복(redundancy)이다. 한 센서가 역광에 눈멀거나 빗물에 흐려져도 다른 센서가 받쳐 안전이 유지된다.
드론과 로봇청소기, 휴머노이드도 같은 레시피를 쓴다. 카메라와 라이다, IMU, 바퀴 오도메트리를 퓨전해 자기 위치를 안다. 이것이 SLAM의 토대다.
정리하면 센서 퓨전은 “여러 불완전한 눈을 합쳐 하나의 믿을 만한 시야를 만드는 일”이다.
물리 세계에서 움직이는 모든 AI의 바닥 기술이다.
Q. 센서 퓨전의 이점은?
서로의 약점을 보완해 더 정확하고 강건한 추정을 얻는다.카메라는 방향과 색에 강하지만 거리에 약하고, 라이다는 거리에 강하지만 색과 가로에 약하다.
칼만 필터로 각 측정을 불확실성에 따라 가중 평균하면 어느 한 센서보다도 정확한 추정이 나온다(정확성).
게다가 한 센서가 가려지거나 약해져도 남은 센서로 추정을 유지한다(강건성). 이 둘이 퓨전의 핵심 이점이다.
중복이 곧 안전이다. 한 센서가 눈멀어도 다른 센서가 받친다.