7. GenAug: 생성형 로봇 데이터 증강 기술
2장 파운데이션 모델이 로봇에게 끼치는 영향
앞서 다룬 CLIPort와 같은 연구들은 언어 지시로부터 로봇의 동작을 직접 생성하는 단계까지 진화했습니다. 하지만 여전히 중요한 과제가 존재합니다. 바로 로봇이 경험할 수 있는 환경의 다양성이 제한적이라는 점입니다.
로봇이 다양한 상황에서도 안정적으로 동작하려면, 더 많은 경험(데이터)를 제공해야 합니다. 이를 위해 데이터 증강(Data Augmentation)이라는 기법이 널리 사용됩니다. 이미지 학습에서는 회전, 확대, 이동 등의 변형을 통해 데이터의 다양성을 확보하는 것이 일반적입니다.
하지만 이런 방식은 로봇학습에는 그대로 적용하기 어렵습니다. 왜냐하면 로봇의 몸체(팔, 관절)와 카메라 시점은 물리적으로 고정되어 있어, 이미지를 단순히 회전 및 이동시키면 실제 동작 좌표계도 함께 바꿔어버리기 때문입니다. 즉, 기존의 2D 이미지 증강 방식은 로봇의 물리적 제약을 고려하지 못한 한계가 있습니다.
로봇을 위한 새로운 데이터 증강 - GenAug
이 문제를 해결하기 위해 등장한 접근이 바로 GenAug(Generative Augmentation)입니다. GenAug는 생성형 파운데이션 모델(Generative Foundation Model)을 활용하여 로봇에 새로운 환경을 "가상 경험"으로 제공합니다. 현재의 생성모델은 "언어를 입력하면 이미지를 생성하는 모델"입니다. 예를 들어,
"책상 위에 컵이 있는 장면을 만들어줘."라고 하면 실제로 그런 이미지를 만들어낼 수 있습니다.
GenAug는 이 구조를 로봇 학습용 데이터 확장에 그대로 응용합니다.
생성모델을 이용한 데이터 다양화
GenAug는 "언어 + 기존 이미지"를 입력으로 받아, 그 장면을 변형한 새로운 학습 이미지를 생성합니다. 예를 들어,
"리모컨 옆에 컵을 두어줘."라고 입력하면, 기존 리모컨 이미지를 바탕으로 컵이 추가된 새로운 장면 이미지를 자동으로 만듭니다.
이런 식으로 로봇은 실제로 경험하지 않은 상황들도 "가상 경험 데이터"로부터 간접적으로 학습할 수 있게 됩니다. 즉, 회전이나 확대 같은 인위적인 변형 없이도 시각적 다양성을 극적으로 확장할 수 있는 것입니다.
구체적인 확장 방법
GenAug는 다음과 같은 다섯가지 방식으로 로봇의 학습 장면을 다양화할 수 있습니다.
1. 물체의 텍스처 변경 - 색상, 재질, 질감 변화를 통해 인식의 일반화 강화
2. 배경 변경 - 조명, 벽색상, 주변 환경 교체
3. 불필요한 물체 추가 - 복잡한 환경에서의 잡음 견디기 향상
4. 물체 카테고리 변경 - 유사한 형태의 다른 물체로 치환하여 범용성 향상
5. 1~4의 조합 사용 - 실제 세계와 유사한 복합적 환경 생성
이 방식으로 생성된 데이터는 로봇이 다양한 환경적 변수를 스스로 견디는 능력(robustness)을 키우는데 큰 도움을 줍니다.
효과와 의의
기존에는 로봇이 훈련된 테이블 색, 조명, 물체 형태가 조금만 달려져도 계획한 동작이 실패하는 경우도 많았습니다. 하지만, GenAug를 활용하면, 로봇이 "한번도 본 적 없는 장면에서도" 유연하게 동작할 수 있게 됩니다.
즉, 생성형 파운데이션 모델을 활용해 로봇이 실제로 겪지 않은 상황까지도 학습 데이터로 흡수함으로써 경험의 폭을 가상적으로 확장(Virtual Experience Expansion) 시킨 것입니다.
GenAug는 "로봇이 경험하지 않은 세상까지 학습할 수 있게 하는 기술"입니다. 이는 단순한 데이터 증강이 아니라, 로봇의 경험을 언어/시각/상상으로 확장하는 생성적 학습(Generative Learning)으로 이어지고 있습니다.
©2024-2025 MDRULES.dev, Hand-crafted & made with Jaewoo Kim.
이메일문의: jaewoo@mdrules.dev
AI 에이전트 개발, 컨텍스트 엔지니어링 교육 컨설팅, 바이브코딩 강의 문의: https://bit.ly/4kjk5OB
