[피지컬AI]25.저수준계획에 파운데이션모델 적용

5장 파운데이션 모델을 로봇에 활용하는 방법

지금까지는 주로

인식(저수준/고수준)

보상 설계

고레벨 플래닝/코드 생성

까지가 메인 스테이지였다면, 이번에는 한단계 더 내려가서,

"LLM/VLM이 발패턴, 관절각도, 저수준 제어까지 직접 만질 수 있는가?"

를 실험하는 단계입니다.

아직 현실 속 상용 로봇에 바로 넣기엔 무리이지만, "LLM이 제어 레벨까지 내려오는 미래"를 엿볼 수 있습니다.

구성은 크게 3가지,

1. 언어 → 보행 발 패턴으로: SayTap

2. 언어/수치 시퀀스 → 패턴 생성기로: General Pattern Machines

3. 아예 저수준 제어를 LLM이 대체 가능한가?: Prompt2Walk

⑴ LLM으로 4족 보행 로봇 발 패턴 제어: SayTap

핵심 아이디어

"말로 걷는 느낌을 설명하면, LLM이 그걸 4족 로봇의 발접지 패턴으로 바꿔준다."

예시: "천천히 앞으로 가", "이번 주말에 피크닉 가자"같은 간접 표현까지

→ GPT-4가 해석해서

각 다리(FL, FR, RL, RR)가 언제 땅을 닿고, 언제 뗴야 하는지 시간 시퀀스로 뽑아내는 구조입니다.

이게 곧 보행패턴(gait pattern)이 됩니다.

파이프라인 구조 (SayTap)

1. 언어 → 다리 접지 패턴 변환 (LLM 단계)

프롬프트 블록 구성:

General instruction: "너느 보행패턴을 만드는 어시스턴트이다"같은 역할 정의

Gait definition: 트로트, 페이스, 바운스 등 보행 타입 설명

Output format: 속도 명령은 [-1.0, -0.5, 0, 0.5, 1.0] 중 하나, 각 다리의 0/1배열 형식 등 명시

Examples: 언어 지시 ↔ 접지 패턴 예시 쌍

이렇게 해서 GPT-4가 바로 "속도 + 각 다리 접지 배열"을 텍스트로 출력합니다.

2. 랜덤 패턴 기반 데이터 생성 (RL학습용)

보행 종류, 주기, 접지 비율 등을 랜덤 샘플링해서 다양한 접지 패턴을 자동 생성

보행 타입 예시: 트로트, 페이스, 바운스, 정지, 삼각 보행 등

3. 강화학습 기반 실제 보행 제어 (PPO)

입력: "LLM이 뽑아준 접지 패턴 + 속도 명령"