컴퓨터
비전 기초

이미지 = 픽셀 밝기 격자

사람은 사진을 보면 바로 “고양이”라고 한다. 컴퓨터에 들어오는 건 그 의미가 아니다.

카메라 이미지는 픽셀(pixel)이 줄지어 박힌 격자다.
픽셀 하나는 그 자리의 밝기를 적은 숫자다. 흑백이면 0(검정)부터 255(흰색)까지다.
컬러면 한 칸에 빨강과 초록과 파랑(RGB) 세 숫자가 들어간다.

그래서 1280×720 사진은 약 92만 칸짜리 숫자 표다.
로봇 입장에서 “본다”는 건 이 거대한 숫자 배열을 받는 데서 시작한다.
여기 어디에도 “고양이”라는 글자는 없다. 의미는 숫자에서 직접 뽑아야 한다.

엣지·색·모양으로 픽셀에서 특징 뽑기

숫자 표를 통째로 이해하긴 어렵다. 먼저 쓸모 있는 단서, 즉 특징(feature)을 뽑는다.

가장 기본은 엣지(edge)다. 옆 픽셀과 밝기가 확 바뀌는 경계선이다.
밝은 책상 위 어두운 컵이면 컵 테두리에서 밝기가 급변한다. 거기가 엣지다.
이웃 픽셀끼리 밝기 차(그래디언트)를 계산하면 윤곽이 드러난다.

색도 단서다. 빨간 사과를 찾을 땐 빨강 픽셀이 뭉친 덩어리를 본다.
엣지를 이으면 모서리나 곡선, 동그라미 같은 모양(shape)이 나온다.
엣지와 색과 모양, 이 저수준 특징이 물체 인식의 재료다.

순서가 중요하다. 픽셀에서 특징으로, 특징에서 의미로 간다.
밝기 숫자에서 곧장 “고양이”로 점프할 수 없어 특징을 먼저 뽑아야 한다.

엣지 검출을 손으로 켜 보기

엣지 검출을 직접 켜 보면 픽셀이 윤곽으로 바뀐다.

원본은 회색조 픽셀 격자다. 한 칸이 밝기 숫자 하나다.
엣지 검출 ON을 누르면 각 픽셀에서 이웃과의 밝기 차를 계산한다.
밝기가 확 바뀐 칸만 검게 남아 도형 윤곽이 드러난다. 안쪽 평평한 면은 사라진다.

임계값(threshold) 슬라이더가 얼마나 확 바뀌어야 엣지로 칠지를 정한다.
올리면 약한 윤곽이 떨어져 나가고 또렷한 경계만 남는다.
내리면 미세한 변화와 노이즈까지 엣지로 잡혀 지저분해진다.

잡힌 엣지 픽셀 수가 숫자로 같이 바뀐다. 카메라가 픽셀에서 특징을 뽑는 첫 단계다.

CNN으로 특징을 쌓아 객체를 인식한다

엣지와 색까지는 손으로 짠 규칙으로도 된다. “이건 컵이다”까지 가려면 학습이 필요하다.

요즘 비전의 주력은 CNN(합성곱 신경망)이다.
작은 필터(커널)가 이미지 위를 훑으며 특징을 뽑고, 그걸 여러 층으로 쌓는다.
앞 층은 엣지나 색 같은 단순 특징을 보고, 뒤 층은 그걸 모은 눈이나 바퀴, 귀 같은 부분을 본다.

층을 깊게 쌓으면 단순 특징이 점점 복잡한 패턴으로 조립된다.
엣지에서 곡선으로, 눈과 코로, 얼굴로, 그리고 “고양이”로 올라간다.
규칙을 사람이 안 적는다. 사진 수십만 장으로 필터를 학습시킨다.

여기에 위치까지 붙이면 객체 검출(object detection)이다. YOLO 같은 모델이 그렇다.
무엇(고양이)이 어디(이 네모 칸)에 있는지를 동시에 뱉는다.
로봇은 이걸 받아 비로소 무엇이 어디 있는지 알고 움직인다.

비전의 약점, 조명과 각도

카메라는 강력하지만 잘 속는다. 같은 물체라도 환경이 바뀌면 픽셀 숫자가 통째로 달라진다.

조명이 바뀌면 밝기값이 다 밀린다. 그림자나 역광, 반사가 엣지를 지우거나 가짜로 만든다.
각도가 바뀌면 같은 컵도 모양이 달라 보인다. 옆모습과 윗모습은 픽셀이 딴판이다.
가림(occlusion)이나 흐림, 먼 거리도 인식을 무너뜨린다.

그래서 실험실에서 잘 되던 모델이 현장 조명이나 실외에서 자주 헛본다.
대응은 다양한 환경 데이터로 학습시키고, 카메라 하나만 안 믿고 라이다나 깊이 센서를 섞는 것이다.
비전은 만능이 아니다. 한계를 알고 다른 센서와 합쳐 쓰는 도구다.