5. CLIP-Fields: 언어기반 로봇지도 생성모델

2장 파운데이션 모델이 로봇에게 끼치는 영향

Nov 11. 2025

physicalai-멀티모달AI와-로봇-top1.png

이제 로봇의 공간인식과 환경지도 생성(mapping) 영역에서도 파운데이션 모델의 영향이 뚜렷하게 나타나고 있습니다. 기존의 지도생성은 주로 물리적 형태와 구조에 초점을 맞췄습니다. 예를 들어,

장애물의 위치를 인식하거나,

이동가능한 경로를 표시하는 방식으로

환경을 기하학적으로 표현하는 것이 목적이었습니다.

하지만 CLIP-Fields(Stanford, 2022)는 전혀 다른 접근을 제시합니다. 이 모델은 환경 정보를 단순히 '객체명과 좌표'로 저장하는 수준을 넘어, 언어적 의미(Semantic meaning)를 공간 정보와 함께 통합합니다. 즉, "의미가 포함된 지도(semantic map)"를 생성하는 것이 핵심입니다.

CLIP-Fields의 개념

CLIP-Fields는 OpenAI의 CLIP모델(Contrastive Language-Image Pretraining)을 확장해 언어/이미지/3D 공간 정보를 하나의 벡터공간에 통합하는 방식으로 학습합니다. 이로써 로봇은 환경을 단순히 "시각적으로 본다"가 아니라, "이해 가능한 언어적 구조로 인식"할 수 있게 됩니다.

예를 들어,

"냉장고 근처에 있는 전자레인지까지 가줘."라는 언어 지시가 주어졌을 때, 로봇은 "냉장고", "전자레인지"라는 언어적 특징량(feature embedding)을 지도 상의 각 지점의 벡터와 비교하여 이동목표를 추론할 수 있습니다.

이때, 특징량이란, 이미지 및 언어 등의 복잡한 데이터를 벡터 형태로 압축한 수치 표현(Feature Vector)을 말합니다. CLIP-Fields는 이러한 벡터 표현을 활용해, 언어와 공간의 유사도(similarity)를 계산함으로써 로봇이 어떤 지점으로 이동해야 할지를 파악합니다.

공간인식의 변화

기존의 3D지도는 단순히 "형태 기반 공간 정보"를 표현했지만, CLIP-Fields는 장면의 여러 시점을 통합해 "의미 기반 공간 표현(Semantic 3D Mapping)"을 가능하게 합니다. 이 덕분에 로봇은 이전보다 훨씬 적은 시각 정보만으로도 3차원 환경 내에서 "의미적 위치 관계"를 파악할 수 있습니다. 예를 들어, "테이블 위에 있는 따뜻한 음료"라는 지시에 대해 커피메이커가 있는 방향으로 이동하는 식의 추론적 행동(plausible reasoning)도 가능합니다.

멀티모달 확장

현재 CLIP-Fields 계열 연구는 시각 정보뿐 아니라, 청각 정보까지 통합하는 방향으로 발전하고 있습니다. 즉, 특정 소리가 발생하는 위치를 포인트클라우드(point cloud)상에 매핑함으로써, 로봇이 "소리가 나는 곳으로 이동"하거나 "소리의 종류(예: 물 끓는 소리, 냉장고 모터 소리)"를 인식해 행동으로 연결할 수 있습니다.

이처럼 파운데이션 모델을 활용한 지도는 물리적 구조와 언어적 의미, 그리고 감각 데이터를 함께 통합한 '다차원 의미 지도(Semantic Multimodal Map)'로 진화하고 있습니다.

CLIP-Fields는 "언어를 이해하는 지도 생성 모델"입니다. 이 접근 덕분에 로봇은 단순히 "길을 아는 존재"에서 "환경의 의미를 이해하고 행동을 결정하는 존재"로 진화하고 있습니다. 이는 자율주행, 서비스로봇, 스마트 팩토리 등 다양한 분야에서 의미 기반 내비게이션(Semantic Navigation)의 토대가 되고 있습니다.