9. 로봇 제어의 기본구조와 작동원리

3장 현재까지의 로봇들

Nov 11. 2025

physicalai-멀티모달AI와-로봇-top2.png

우리는 파운데이션 모델이 로봇을 어떻게 바꾸는지에 대해 어느 정도 감을 잡았을 것입니다. 이번에는 "파운데이션 모델을 로봇에 어떻게 적용할 것인가"를 다루기 전에 우선 현재까지의 로봇이 어떤 원리로 움직이고 있는지를 정리합니다.

로봇이 기존에 어떤 방식으로 인식하고, 계획하고, 제어해 왔는지를 이해하는 것은 앞으로 로봇이 어떤 방향으로 발전할 수 있는지를 파악하는데 큰 도움이 됩니다. 또한, 파운데이션 모델의 적용 가능성과 한계를 구분하는데에도 필요합니다. 즉, 어떤 영역은 파운데이션 모델이 대체할 수 있고, 어떤 영역은 여전히 전통적 접근이 필요한가를 판단할 수 있게 됩니다.

로봇의 기본 구조: 인식 → 계획 → 제어

일반적으로 로봇은 환경을 인식하고, 그 결과를 기반으로 행동 계획을 세우며, 그 계획에 따라 신체를 제어하는 지능형 에이전트(Intelligent Agent)입니다. 이 3단계는 다음과 같이 구성됩니다.

1. 인식 (Perception)

로봇은 카메라, 마이크, 촉각센서 등 다양한 입력(모달리티)을 통해 외부 환경으로부터 데이터를 받아들입니다.

이 정보는 그대로는 사용할 수 없기 떄문에, 로봇이 처리가능한 형태로 의미해석(Feature Extraction)과정을 거칩니다.

예: 카메라 영상 → 물체인식 결과/마이크 입력 → 소리의 종류/촉각 → 압력 패턴

2. 계획 (Planning)

인식된 정보를 기반으로 로봇이 무엇을, 어떤 순서로, 어떻게 할지를 결정합니다.

예를 들어 "컵을 들어 책상 위에 올려라"라는 목표가 주어졌다면, '컵찾기 → 이동 → 파지 → 올리지'의 단계적 시퀀스로 나누어 실행 계획을 세웁니다.

3. 제어 (Control)

계획된 내용을 실제 하드웨어로 옮기는 단계입니다.

관절 구동, 모터 속도, 손끝의 압력 등 몰리적 제어신호(Control Signal)로 변화노디어 로봇의 몸이 실제로 움직입니다.

이 일련의 과정은 아래와 같은 단일 흐름으로 요약됩니다.

감지(Sense) → 사고(Think) → 행동(Act)

로봇 인지 구조의 세분화

로봇의 인식과 계획은 그 추상도에 따라 저수준(Low-level)과 고수준(High-level)으로 나눌 수 있습니다. 이는 로봇 연구에서 오랫동안 사용되어 온 분류이며 한국의 산업용 로봇 제어 체계에도 그대로 대응됩니다.

이러한 구조는 산업용 로봇, 물류로봇, 서비스 로봇 모두에서 공통적으로 사용됩니다. 즉, 지금까지의 로봇은 모듈별로 분리된 인식/계획/제어 체계 위에서 동작해 왔습니다.

지금까지의 로봇 시스템은 높은 안전성과 예측가능성을 가지는 대신, 새로운 환경이나 지시어에 대한 유연성이 부족했습니다. 예를 들어, "컵 옆에 있는 파란 상자에 물을 부어줘."같은 지시는 언어해석, 객체인식, 동작계획, 제어를 각각 별도로 조합해야 하므로 복잡한 엔지니어링이 필요했습니다. 하지만, 파운데이션 모델이 나옴에 따라 이 모든 단계가 하나의 통합 네트워크 안에서 표현될 가능성이 생겼습니다. 즉, 인식 → 계획 → 제어를 나누지 않고 자연어 한 문장만으로 로봇의 동작을 생성할 수 있는 기반이 마련된 것입니다.

이제 우리는 지금까지의 로봇이 어떻게 움직여 왔는가를 알게 되었습니다. 다음 단계에서는 이 구조가 파운데이션 모델의 등장으로 어떻게 통합되고 변형되는지, 즉, "로못이 언어로 세계를 이애하는 방법"을 살펴봅시다.

일반적인 로봇 제어의 구조

넓은 의미에서 로봇의 인식(Perception)은 2단계로 나눌 수 있습니다.

첫번째, 환경에서 수집된 센서 데이터를 바로 처리해 기초 정보를 추출하는 단계, 즉, 저수준 인식(Low-level Perception)입니다.

두번째, 이렇게 얻은 정보를 통합해 상황을 더 높은 수준에서 해석하는 단계, 즉, 고수준 인식(High-level Perception)입니다.

- 저수준 인식

저수준 인식은 주로 센서입력을 처리하고 기본 객체나 상태를 파악하는 과정을 말합니다. 카메라 영상을 통한 물체 인식, 센서 데이터를 이용한 위치 추정, 로봇 팔의 관절 상태 감지 등이 여기에 포함됩니다. 즉, "보이는 것과 들리는 것을 해석 가능한 형태로 바꾸는 단계"입니다.

- 고수준 인식

고수준 인식은 이렇게 추출된 저수준 정보를 조합하여 현재 환경과 상황을 의미적으로 이해하는 과정입니다. 예를 들어, "컵이 책상 위에 있다" 또는 "문이 닫혀 있다"처럼, 객체 간의 관계나 공간적 의미를 해석하는 수준입니다.

이 단계에서는 지도생성(Map Building), 또는 장면 그래프(Scene Graph)와 같은 기술이 주로 활용됩니다. 즉, 환경을 단순한 좌표 데이터가 아니라 '의미가 있는 공간(Semantic Map)'으로 인식하는 것입니다.

- 계획(Planning)의 2단계

로봇의 계획(Plan)은 크게 작업 계획(Task Planning)과 모션 계획(Motion Planning)으로 구분됩니다.

1. 작업 계획 (Task Planning)

로봇이 무엇을, 어떤 순서로 해야 하는가를 결정하는 단계입니다.

목표를 정의하고, 이를 달성하기 위한 일련의 하위 행동(subtask)을 설계합니다.

예를 들어, "컵을 들어 선반 위에 올려라"라는 명령을 받으면, '컵찾기 → 이동 → 파지 → 올리기'라는 시퀀스를 구성합니다.

이는 비교적 추상적인 수준의 고수준 계획(High-level Planning)에 해당합니다.

2. 모션 계획 (Motion Planning)

작업 계획에서 정의된 행동을 실제로 실행가능한 연속동작(모션)으로 구체화하는 단계입니다.

로봇의 손끝(end-effector)경로, 팔의 관절 궤적, 이동경로등을 계산합니다.

따라서, 공간좌표와 물리제약을 다루는 저수준계획(Low-level Planning)에 해당합니다.

- 인식과 계획의 순서

이번 강좌에서는 설명 흐름을 다음과 같이 구성합니다.

저수준인식 → 고수준인식 → 고수준계획 → 저수준계획

이 순서는 실제 로봇 제어 파이프라인과 일치합니다. 로봇은 기본적인 감각 인식으로부터 시작해서 상황을 해석하고(고수준 인식), 무엇을 할지 결정하고(고수준 계획), 그 계획을 물리적으로 실행합니다. (저수준 계획)

아래 그림에서 보듯이 로봇은 "환경을 인식하고 → 계획을 세우고 → 동작을 수행하는" 일련의 순환 구조 안에서 작동하는 지능형 물리 에이전트입니다.

- 예외적인 경우

물론 모든 상황이 위의 순서로만 진행되는 것은 아닙니다. 예기치 못한 상황에서는 고수준 판단을 생략하고 즉각 반응하는 경우도 있습니다. 예를 들어, 물체가 갑자기 떨어질 때 로봇이 반사적으로 피하는 동작처럼 즉시성(reflexive)이 요구되는 행동은 고수준 계획을 거치지 않습니다.