오늘 끝나면
프로젝트: 로봇팔 조작
- ✓프로젝트: 로봇팔 조작의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 프로젝트:이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
보고 집어 옮기는 매니퓰레이션 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
Physical AI · 24
프로젝트:
로봇팔 조작
보고, 집고, 옮긴다. 이게 로봇팔의 본업이다.
비전이 물체 위치를 읽으면 역운동학이 관절각을 풀고 그리퍼가 집는다.
그런데 현실은 미끄러지고 어긋난다. 그걸 다루는 게 매니퓰레이션의 진짜 난도다.
픽앤플레이스, 보고 집어 옮기기
로봇팔이 하는 일의 절대다수는 하나로 줄어든다. 어딘가의 물체를 집어 다른 데로 옮기는 것이다.
이걸 픽앤플레이스(pick and place)라 한다.
컨베이어의 부품을 집어 트레이에 꽂고, 박스를 집어 팔레트에 쌓고, 식자재를 집어 그릇에 담는다.
공장 조립, 물류 분류, 주방 자동화. 겉은 달라도 속은 다 같은 동작이다.
한 사이클은 네 박자로 쪼개진다.
물체를 보고(vision), 거기로 다가가고(reach), 그리퍼로 집고(grip), 목표로 옮겨 놓는다(place).
단순해 보이지만 각 박자마다 풀어야 할 문제가 따로 있다.
조립, 물류, 주방. 까보면 다 이 네 박자다
비전 → 역운동학 → 그리퍼
픽앤플레이스의 핵심 사슬은 세 칸이다. 좌표를 얻고, 관절각으로 바꾸고, 손을 닫는다.
먼저 비전(vision)이다. 카메라가 작업대를 보고 물체가 어디 있는지를 좌표로 뱉는다. 픽셀 위치를 로봇 좌표계의 (x, y, z)로 변환한다.
이게 “무엇을 어디서 집을지”의 입력이다.
그 좌표를 관절각으로 바꾸는 게 역운동학(inverse kinematics, IK)이다.
손끝을 목표 (x, y)에 두려면 어깨와 팔꿈치를 각각 몇 도로 돌려야 하는지를 역으로 푼다. 코사인 법칙으로 닫힌식이 나온다.
반대로 관절각에서 손끝 위치를 구하는 건 정운동학(forward kinematics)이고, IK는 그 역방향이다.
마지막이 그리퍼(gripper)다. 손끝이 도착하면 집게를 닫아 물체를 붙잡는다. 평행 집게, 진공 흡착, 다지(多指) 손 등 형태는 다양하다.
좌표에서 관절각으로, 다시 손 닫기로 이어지는 이 사슬이 한 번 돌면 물체 하나가 옮겨진다.
손끝을 목표에 두는 두 각을 코사인 법칙으로 역산하는 것이 역운동학이다.
직접 집어 옮겨 보기
작업대를 클릭해 물체를 놓고 직접 집어 옮겨 보면 사슬 전체가 한눈에 보인다.
클릭하면 그 자리에 물체가 놓이고, 집어 옮기기를 누르면 비전이 그 좌표를 읽는다. 역운동학이 어깨 θ1과 팔꿈치 θ2 두 각을 풀어 손끝을 그리로 보낸다.
손끝이 닿으면 그리퍼가 닫혀 집고, 물체를 들고 목표 상자로 옮겨 내려놓는다.
점선 반원은 사거리다. 팔 두 마디 길이(L1+L2)를 넘는 곳을 찍으면 역운동학에 해가 없어 못 잡는다.
정밀도 슬라이더를 내리면 놓을 때 자리가 흔들려 상자를 빗나간다. 좌표만 정확하면 끝일 것 같지만, 현실은 손이 미끄러지고 어긋난다.
캔버스를 클릭해 물체를 놓고 '집어 옮기기'를 누른다. 비전이 물체 위치를 읽으면 역운동학이 두 관절각을 풀어 팔이 그리로 간다.
현실의 부정확함, 미끄러지고 어긋난다
교과서 IK는 좌표만 주면 깔끔히 풀린다. 현실 로봇팔은 그 좌표가 애초에 살짝 틀려 있다.
오차는 여러 군데서 끼어든다.
카메라가 읽은 좌표가 몇 mm 틀리고(비전 오차), 카메라와 팔의 기준이 안 맞고(캘리브레이션 오차), 모터가 명령각만큼 정확히 안 돈다(기구 오차).
이게 다 더해져 손끝이 목표에서 몇 mm 빗나간다.
집는 순간엔 더 까다롭다. 매끄러운 물체는 미끄러지고(slip), 무른 물체는 눌리며, 무게중심이 치우치면 들다가 돌아간다.
그래서 손가락에 힘·촉각 센서(force/tactile)를 달아 잡는 힘을 실시간으로 조절한다. 미끄러지면 더 꽉, 무르면 살살 잡는다.
핵심 태도는 “한 번에 정확히”가 아니라 보고, 움직이고, 다시 보기다.
이 폐루프(closed-loop)가 비주얼 서보잉(visual servoing)이다. 손끝이 목표에 닿을 때까지 영상을 다시 보며 오차를 줄여 간다.
한 번에 정확히가 아니라, 보고 움직이고 다시 보기(비주얼 서보잉)로 메운다.
매니퓰레이션, 옮기기를 넘어
물체를 집어 옮기는 건 손재주의 첫 칸일 뿐이다. 이 전체를 매니퓰레이션(manipulation)이라 한다.
위 칸으로 갈수록 어려워진다.
집어 옮기기(pick & place)에서 정해진 자세로 꽂기(insertion), 두 손으로 다루기(bimanual), 도구 쓰기나 매듭 묶기 같은 정교한 손기술(dexterous)로 올라간다.
부품을 구멍에 끼우는 것만 해도 0.1mm 단위로 힘을 느끼며 맞춰야 한다.
그래서 요즘은 모든 각을 손으로 짜기보다 학습으로 간다.
사람 시연을 따라 배우는 모방학습(15강), 시행착오로 잡는 법을 찾는 강화학습, 보고 듣고 바로 동작을 내는 VLA(vision-language-action) 모델이 손재주를 끌어올린다.
정리하면 로봇팔의 본업은 보고 집어 옮기기이고, 그 뼈대는 비전과 역운동학, 그리퍼다.
그리고 진짜 실력은 깔끔한 좌표가 아니라 미끄럽고 어긋나는 현실을 피드백으로 다루는 데서 갈린다.
Q. 로봇팔이 물체를 집으려면 관절각을 어떻게 정하나?
역운동학(inverse kinematics)으로 정한다.비전이 읽은 물체의 목표 위치(x, y)에서 거꾸로, 손끝을 거기에 두려면 어깨와 팔꿈치를 각각 몇 도로 돌려야 하는지를 역산한다.
반대 방향, 즉 관절각에서 손끝 위치를 구하는 건 정운동학이다. 집을 땐 위치를 알고 각을 모르므로 역운동학을 풀어야 한다.
단, 사거리(L1+L2)를 넘는 곳엔 해가 없어 못 잡는다. 좌표가 닿는 범위 안에 있어야 한다.
| 픽앤플레이스이번 강 | 집어 정해진 데로 옮긴다 |
| 꽂기(insertion)힘 제어 | 구멍이나 슬롯에 자세 맞춰 끼운다 |
| 두 손 작업(bimanual)협응 | 양팔로 잡고 돌리고 맞춘다 |
| 정교한 손기술(dexterous)손재주 | 도구 쓰기, 매듭, 접기 |
위 칸은 손으로 짜기 어려워 모방학습·강화학습·VLA로 배운다.