3. LLM기반 로봇 코드 생성 모델 CaP

2장 파운데이션 모델이 로봇에게 끼치는 영향

Nov 11. 2025

파운데이션 모델의 특징 중 하나가 언어를 다룰 수 있는 능력입니다. 여기서 말하는 언어는 우리가 일상적으로 사용하는 자연어뿐만 아니라, 프로그래밍 언어도 포함입니다.

즉, 이제 로봇은 파운데이션 모델을 통해 프로그래밍 언어를 직접 이해하고 생성할 수 있는 단계에 도달했으며, 과거에는 프로그램을 인간이 직접 작성해야 했지만, 지금은 로봇이 스스로 사고하여 프로그램을 작성하고 실행할 수있게 된 것입니다. 이런 개념을 가장 먼저 실현한 연구가 Code as Policies(Google Research, 2022)입니다.

Code as Policies의 기본 개념

로봇이 완전히 처음부터 코드를 작성할 수 없기 때문에 먼저 사람이 로봇이 사용할 하위계층 API를 정의해주어야 합니다. 예를 들어 아래와 같은 형태로 구성됩니다.

인식API: 지정된 카테고리의 물체를 인식

제어API: 특정 물체를 잡거나, 특정 위치에 놓는 동작 수행

그 후, 로봇은 언어지시를 입력받고 이를 기반으로 프로그래밍 언어 형태의 코드를 자동으로 생성합니다. 예를 들어, "빈 그릇 위에 블록을 쌓아주세요"라는 지시가 주어지면 로봇은 위의 API들을 호출하는 형태로 프로그램을 생성합니다.

구조와 작동방식

Code as Policies는 자연어지시+소수의 예시코드를 LLM에 입력하여 로봇이 태스크를 수행할 수 있는 프로그램을 생성합니다. 이때 LLM은 정의된 API를 기반으로 필요한 인식 단계와 제어순서를 추론하고, 새로운 상황에서도 일반화할 수 있는 재귀적코드생성(logic recursion)을 수행합니다.

즉, LLM은

"지시 → 코드 구조 → 실행가능한 프로그램"의 일련 과정을 자동으로 완성합니다.

과거에는 연구자가 물체의 종류, 초기상태, 목표상태등을 모두 정의하며 직접 플래너를 코딩해야 했지만 이제는 언어로 지시만 하면 로봇이 나머지 프로그램을 작성하는 시대로 바뀌고 있습니다.

시각 및 언어통합 인식의 진전

파운데이션 모델의 발전으로 물체인식(Perception) 또한 훨씬 간단해졌습니다. 특히 시각-언어모델(VLM, Vision-Language Model)의 등장으로 이미지로부터 물체를 인식할 뿐만 아니라, "언어로 설명된 물체"를 인식할 수도 있습니다.

이제 더이상 수백장의 이미지 데이터셋을 구축해 모델을 새로 학습시킬 필요가 없음을 의미합니다. 이미 인터넷에서 학습된 파운데이션 모델이 언어와 시각정보를 동시에 이해할 수 있기 때문입니다.

예시학습과 문맥 내 학습

단, Code as Policies에는 하나의 실제적인 제약이 있습니다. 언어지시와 API만으로는 완벽한 프로그램을 생성하기 어렵기 때문에 몇개의 예시 프로그램(few-shot examples)이 필요합니다.

즉, "이런 언어지시가 주어졌을 때는, 이런 형식의 코드를 생각해라."

라는 예시를 소량제공해야 합니다.

하지만 이는 사람의 학습방법과 유사합니다. 처음에는 예시를 따라하지만 일정량의 경험 후에는 스스로 일반화합니다. LLM도 마찬가지로 이러한 예시를 통해 문맥 내 학습 (In-Context Learning)기능을 발휘합니다. 따라서 새로운 제어나 지시를 추가할 때 재학습(fine-tuning)은 필요하지 않습니다. 단순히 입력 문장이나 예시 몇개를 바꾸는 것만으로도 LLM은 거대한 프로그램을 출력할 수 있습니다.

실행과 피드백

물론 생성된 프로그램이 항상 완벽한 것은 아닙니다. 잘못된 코드나 예외상황이 발생할 수 있습니다. 이 경우, 실행결과를 다시 LLM에 입력하여 코드를 점진적으로 수정하는 자기피드백(self-correction)과정이 가능하며, 이는 최근 LLM기반 로봇 연구의 핵심 패러다임으로 자리잡고 있습니다.

결국 Code as Policies는 "로봇이 언어로 사고하고, 코드를 통해 행동하는" 새로운 형태의 로봇 지능 구조를 제시한 첫 사례입니다. 이는 인간의 프로그래밍 노동을 대체하는 것을 넘어, 로봇이 스스로 새로운 태스크를 정의하고 해결할 수 있는 자율적 지능 로봇(Autonomous Intelligent Agent)으로의 진화를 의미합니다.