VLA
모델

VLA = 보고 · 말 이해 · 행동을 하나로

VLA는 Vision-Language-Action의 약자다. 보는 것과 말을 이해하는 것, 움직임을 한 신경망에 묶는다.

예전 로봇은 단계가 따로따로였다.
카메라로 물체를 인식하고, 명령은 규칙으로 해석하고, 동작은 따로 짠 플래너가 계산했다.
모듈마다 사람이 손으로 이어 붙여야 했고, 한 칸만 어긋나도 전체가 무너졌다.

VLA는 그 사슬을 한 모델로 욱여넣는다.
입력은 둘이다. 카메라 이미지(Vision)와 자연어 명령(Language)이다.
출력은 하나, 로봇이 다음에 취할 행동(Action)이다. 보통 관절 토크나 그리퍼 좌표다.

“빨간 컵을 집어”라고 말하면, 픽셀에서 빨간 컵을 찾고 명령을 이해해 팔을 뻗는 흐름이 한 번에 나온다. 중간에 사람이 손으로 짠 연결 코드가 거의 없다.

인터넷 지식 + 로봇 데이터

VLA의 출발점은 로봇이 아니다. 인터넷으로 사전학습한 거대 VLM(Vision-Language Model)이다.

웹의 수십억 장 이미지와 텍스트로 먼저 배운다.
그래서 바나나가 뭔지, 쏟다와 닦다가 무슨 뜻인지를 로봇 데이터 없이도 이미 안다.
이 상식과 언어 감각이 로봇한테 그대로 옮겨붙는 게 핵심이다.

그 위에 로봇 데이터를 더 먹인다.
이 장면에서 이 명령엔 이 행동이라는 시연을 행동 복제로 학습시킨다(15강의 그 BC다).
행동을 글자 토큰처럼 다뤄서, 언어 모델이 문장 잇듯 행동을 한 토막씩 뱉게 만든다.

RT-2(구글 딥마인드, 2023)가 이 레시피를 대표한다.
웹 지식과 로봇 데이터를 한 모델에서 같이 학습(co-fine-tuning)해서, 로봇이 한 번도 못 본 물건도 웹에서 배운 개념으로 다룬다.
이어 OpenVLA 같은 오픈 모델도 같은 길을 따른다.

모듈형 vs End-to-End, 직접 굴려 보기

같은 입력을 두 방식에 똑같이 넣어 비교한다.

모듈형은 인식, 언어 해석, 플래너, 제어가 칸칸이 흐른다. 각 칸은 사람이 짠 규칙이라, 명령 어휘가 사전에 없으면 거기서 막힌다.

End-to-End VLA는 같은 입력이 한 모델을 한 번 통과해 곧장 행동으로 나온다. 웹으로 배운 개념 덕에 사전에 없던 단어나 처음 보는 물건도 그럴듯하게 넘긴다. 이게 일반화다.

단 VLA도 100%는 아니다. 자신 없을 때도 일단 움직이며, 신뢰도 막대가 출력의 확신을 보여준다.

일반화하는 로봇 정책

VLA가 주목받는 진짜 이유는 일반화다. 가르친 것 너머로 능력이 번진다.

기존 로봇 정책은 학습한 물체와 환경에만 강했고, 컵 위치만 바뀌어도 헤맸다.
VLA는 웹에서 개념을 미리 배워서, 로봇 데이터엔 없던 물건도 이름만 대면 집으려 한다.
“멸종 동물 인형 집어” 같은 추론도 시도한다. 웹 지식과 명령을 엮어 공룡 인형을 고르는 식이다.

이게 가능한 이유는 셋이다.
웹 사전학습으로 들어온 폭넓은 개념, 언어가 명령을 유연하게 받는 인터페이스, 한 모델이라 지식이 행동까지 곧장 흐른다는 점이다.
그래서 새 작업마다 코드를 새로 짜는 대신, 말만 바꿔도 어느 정도 따라온다.

물론 한계도 분명하다.
느리고(추론이 무겁다), 미세한 힘 조절엔 서툴고, 자신 없을 때도 일단 움직여 사고를 칠 수 있다.
그래도 “말로 시키면 처음 보는 일도 시도하는 로봇”이라는 방향은 Physical AI의 최전선이다.

한 흐름으로 다시 보기

정리하면 VLA는 세 글자 그대로다. 보고(V), 말 이해하고(L), 행동하는(A) 걸 한 모델이 한다.

입력은 둘, 출력은 하나다.
이미지와 명령이 들어가고, 행동이 나온다.
웹으로 상식을 깔고 로봇 시연으로 손을 익혀서, 가르친 것 너머로 일반화하는 게 강점이다.

모방학습(15강)으로 출발점을 잡고, 언어 모델(19강)이 명령을 받는 인터페이스가 된다.
그 둘이 한 모델로 합쳐진 게 VLA다. 지금 로봇 연구의 가장 뜨거운 프런티어다.