[번역] 너의 로봇 아바타는 거의 다 완성되었다 pt1
디자인 아티클 모음 #3 : Avatar XPrize로 보는 텔레프레즌스
글을 열며
지난주, 보행 로봇을 연구하시는 카이스트 교수님을 인터뷰했다. 로봇과 나는 남극의 펭귄과 아마존 아나콘다 만큼이나 접점이 없었다. 로봇에 대한 기억을 되짚어보면 어릴 적 TV 에서 본 인간이 되고 싶은 로봇, [바이센테니얼맨(1999)]과 최근에 본 [러브, 데스 + 로봇(2022)]의 포스트-아포칼립스다. 내게 창작물에서의 로봇이 가장 먼저 떠오르듯 리얼월드의 인간형 로봇에 먼 거리감이 느껴졌다.
프로젝트 때문에 미래 로봇 트랜드 관련 보고서를 찾아보니 생각보다 로봇과 함께하는 미래가 임박해 보였다. 특히나 제조업/산업적 사용에 있어서는 시장성 때문에 더 많은 가능성이 있는듯하다.
하지만 나의 도메인은 디자인인바. 사람과 접점이 생기는 지점에 더 큰 흥미가 생긴다. 게다가 로봇을 인터페이스로 활용하는 분야라면 안 보고는 못 배기는데 오늘 번역한 글도 그러하다. 이 글은 교수님이 소개해주신 개념에 대해 리서치하던 중 발견하였고, 읽다 보니 공유할만한 흥미로운 사례여서 소개하고자 한다.
다음 글은 IEEE Spectrum의 EVAN ACKERMAN의 2023년 4월 16일 글 [YOUR ROBOTIC AVATAR IS ALMOST READY]을 적당히 번역기로 번역하고 이후에 내 의역에 맞게 옮긴 글이다.
Avatar XPrize 코스에서는 다리는 에셋이 아니었기에 서울대학교 팀은 다리가 달린 인간 크기의 로봇을 바퀴 달린 베이스 위에 앉히는 방식을 적용했습니다.로봇은 현실 세계에 적응할 준비가 되어 있지 않습니다. 자율 로봇이 현실 세계에서 겨우 살아남은 것 자체가 감지덕지이며 , 이는 유용한 일반 자율성과는 거리가 멉니다. 상당히 구체적인 제약 조건 하에서 자율 로봇은 사무실, 병원, 창고와 같은 반구조화된 환경에서 몇 가지 귀중한 틈새시장을 찾기 시작했습니다. 그러나 재난 지역과 같은 복잡한 구조의 환경이나 인간과의 인터랙션 상황 또는 혁신과 창의성이 필요한 모든 상황에서 자율 로봇은 어려움을 겪습니다.
이것은 가까운 미래에도 여전히 인간이 필요하다는 것을 의미합니다. 그러나 이는 인간이 물리적으로 존재해야 한다는 의미는 아닙니다. 단지 인간이 루프(human is in the loop, 역자주: 인간과의 결합을 의미, 개선하고 검증하는 존재로서의 인간)에 있다는 의미입니다. 그리고 이것이 기회를 창출합니다.
2018년 엑스프라이즈 재단(XPrize Foundation )은 인간이 사용할 수 있는 로봇 시스템 개발을 목표로 "실시간으로 인간의 존재를 원격 위치로 이동할 수 있는 아바타 시스템"을 만들기 위한 대회 (일본 항공사 ANA 후원)를 발표했습니다. 마지막 행사는 지난 11월 캘리포니아주 롱비치에서 열렸으며, 전 세계 17개 팀이 800만 달러의 상금을 놓고 경쟁했습니다.
아바타 시스템은 모두 이동하고 환경과 상호 작용할 수 있지만 대회에서는 가장 효과적인 시스템을 만들기 위해 다양한 하드웨어 및 소프트웨어 접근 방식만을 선보였습니다.이번 대회에서는 인간의 힘과 로봇 시스템이 결합되어 우리의 경험과 적응성을 원격지까지 전달하는 모습을 보여주었습니다. 로봇과 인터페이스는 실제 사용 가능한 시스템이라기보다는 연구 프로젝트에 가까운 반면, Avatar XPrize는 세계 최고의 로봇 공학자들이 텔레프레즌스로 가능한 것의 한계를 뛰어넘는 데 도움이 되는 영감(구조 및 자금은 물론)을 제공했습니다.
로봇 아바타
로봇 아바타 시스템은 한 장소에 있는 사람이 기술을 인터페이스로 사용하여 다른 장소를 경험하고 상호 작용할 수 있다는 점에서 가상현실과 유사합니다. VR과 마찬가지로 효과적인 로봇 아바타를 사용하면 사용자가 실제로 다른 곳에 있는 것처럼 느끼고, 듣고, 만지고, 움직이고, 의사소통할 수 있습니다. 그러나 VR이 인간을 가상 환경에 데려가는 반면, 로봇 아바타는 인간을 옆방이나 수천 킬로미터 떨어진 물리적 환경에 데려옵니다.
XPrize 재단은 언젠가 아바타 로봇이 보다 실용적인 목적으로 사용될 수 있기를 희망합니다. 거리에 관계없이 누구에게나 즉시 서비스를 제공하기도 하고. 인간 구조대가 가기에는 너무 위험한 지역의 재난 구호; 중요한 수리는 물론 유지 관리 및 기타 제공하기 어려운 서비스도 수행하기를 바랍니다.
Avatar XPrize의 전무이사인 David Locke는 “우리가 물리적으로 한 장소에서 다른 장소로 이동할 수 있는 방법은 충분히 빠르게 확장되지 않고 있습니다.”라고 말했습니다. “공간의 분열은 이미 오래전부터 이루어졌습니다. 우리의 목표는 새로운 물리적 연결 수단을 도입하여 거리와 시간의 장벽을 뛰어넘어 전 세계 누구나 물리적으로 다른 위치를 경험할 수 있도록 하고 필요할 때 언제 어디서나 현장 지원을 제공하는 것입니다.”
글로벌 경쟁
Long Beach 컨벤션 센터에서 XPrize는 록 콘서트, 스포츠 행사, 로봇 연구 컨퍼런스 및 엑스포 같은 분위기를 조성하기 위해 최선을 다했습니다. 코스는 경기장 좌석(대중에게 공개)도 있고 멋지게 장식되었으며 드라마틱한 조명을 갖춘 경기장에 설치되었습니다. 각 참가자의 경기에 실시간 해설이 함께 제공되었습니다. 시합 사이에 팀은 컨벤션 홀에서 아바타 시스템을 작업을 하고, 그곳에서 호기심 많은 구경꾼들과도 서로 대화할 수 있었습니다. 프랑스, 독일, 이탈리아, 일본, 멕시코, 싱가포르, 한국, 네덜란드, 영국, 미국 출신의 17개 팀이 참가했습니다. 각 팀은 3일에 걸쳐 여러 번의 시합을 준비하면서 팀원들이 행사장을 돌아다니며 로봇을 수리하거나 개선하기 위해 노력하는 동안 분위기는 열광적이고 집중되는 분위기였습니다. 소규모 로봇공학 스타트업 옆에 주요 학술 연구소가 설립되었으며, 각 팀은 자신들의 독특한 접근 방식이 성공하기를 바랐습니다.
Avatar XPrize 코스는 외계 행성의 과학 기지처럼 보이도록 설계되었으며, 아바타 시스템은 도구 사용 및 암석 샘플 식별을 포함한 작업을 완료해야 했습니다.경쟁 과정에는 외계 행성 표면에서의 과학 임무를 기반으로 각 로봇이 수행해야 하는 작업도 있었습니다. 과정을 완료하려면 사람인 임무 지휘관과 통신하고, 전기 스위치를 켜고, 장애물 코스를 통과하고, 무게로 컨테이너를 식별하고 조작하고, 전동 드릴을 사용하고, 마지막으로 터치를 하여 암석 샘플을 분류하는 작업을 합니다. 아바타 시스템이 모든 작업을 성공적으로 완료하는 데 걸린 시간을 기준으로 팀의 순위가 매겨졌습니다.
아바타 시스템에는 두 가지 기본적인 요소가 있습니다. 첫 번째는 인간 조작자가 제어하는 움직이는 로봇 매니퓰레이터(역자주:로봇팔)입니다. 두 번째는 운영자가 해당 제어를 제공할 수 있게 해주는 인터페이스인데, 이는 틀림없이 시스템에서 더 어려운 부분입니다. DARPA Robotics Challenge 및 DARPA Subterranean Challenge와 같은 이전 로봇 공학 대회에서 인터페이스는 일반적으로 키보드와 마우스가 있는 기존 컴퓨터(또는 여러 컴퓨터)를 기반으로 했으며 고도로 전문화된 운영자 작업에는 엄청난 양의 교육, 훈련 그리고 경험이 필요했습니다. 그러나 이 접근 방식은 접근성도 낮고 확장 가능하지도 않습니다. 따라서 Long Beach 대회에서는 운영자에 구애받지 않는 아바타 시스템을 선보였으며 누구나 효과적으로 사용할 수 있었습니다.
XPrize 심사위원인 Justin Manley가 코스를 마친 NimbRo의 아바타 로봇과 함께 축하하는 모습“궁극적으로 일반 대중이 최종 사용자가 될 것입니다.”라고 Locke가 설명합니다. “이 대회를 통해 팀은 기술의 운영자-경험 구성 요소를 연구하고 개선하는 데 시간을 투자해야겠다고 생각하게 되었습니다. 팀의 일반 사용자에게 경험에 대한 피드백을 받기 위해 기술과 연구실을 운영을 공개해야 했고, 가장 높은 점수를 받은 팀은 가장 직관적이고 사용자 친화적인 운영 인터페이스도 가지고 있었습니다.”
대회 기간 동안 팀원들은 자신의 로봇을 조작하는 것이 허용되지 않았습니다. 대신, 각 팀에 심사위원이 배정되었고, 각 팀에게는 심사위원에게 로봇과 인터페이스에 대해 교육하는 데 45분의 시간이 주었습니다. 심사위원단에는 로봇 공학, 가상현실, 인간-컴퓨터 상호 작용, 신경 과학 분야의 전문가가 포함되어 있었지만 그들 중 누구도 이전에 아바타 운영자로 일한 경험이 없었습니다.
Northeastern 팀원 David Nguyen은 XPrize 심사위원 Peggy Wu가 아바타 시스템을 작동하는 모습을 지켜봅니다.훈련이 완료되면 심판은 팀의 인터페이스를 사용하여 코스를 통해 로봇을 작동했으며 팀은 앉아서 지켜보는 것 외에는 아무것도 할 수 없었습니다. 기술적 문제가 발생할 경우 두 명의 팀원이 심사위원과 함께 남을 수 있었고, 그 모습은 실시간 스트리밍을 통해 팀이 겪고 있는 스트레스와 무력감을 포착했습니다. 수년간의 노고와 많은 비용이든 프로젝트의 승리가 딱 한 시간 전에 만난 낯선 사람에게 달려있었습니다. 항상 잘되지는 않았고 때로는 매우 심하게 진행되기도 했습니다. 예를 들어, 경기 도중 이족보행 로봇(bipedal robot)이 코스의 출입구 가장자리와 충돌하여 넘어져 수리할 수 없는 손상을 입는 경우가 있었습니다.
하드웨어와 인간
글로벌 팀들의 다양성은 아바타 시스템의 다양성에 반영되었습니다. 대회에서는 이동성, 조작 및 통신 인터페이스를 포함하여 로봇에 대한 몇 가지 기본 설계 조건을 부과했지만, 그렇지 않은 경우 자체 하드웨어와 소프트웨어를 설계하고 구현하는 것은 각 팀의 몫이었습니다. 대부분의 팀은 두 개의 로봇 팔이 있고 바퀴 달린 하체 부분과 작업자의 얼굴을 표시하기 위한 스크린으로 구성된 머리를 선호했습니다. 몇몇 대담한 팀이 이족보행 휴머노이드 로봇을 가져왔습니다. 스테레오 카메라는 일반적으로 운영자에게 시각적 및 깊이 정보를 제공하는 데 사용되었으며 일부 팀에는 원격 환경에 대한 다른 유형의 정보를 전달하기 위해 추가 센서가 포함되었습니다.
예를 들어 최종 경쟁 작업에서 작업자는 거친 바위와 매끄러운 바위를 구별하기 위해 촉각 감각이 필요했습니다. 로봇용 터치 센서가 수집한 데이터를 사람이 읽을 수 있게 변환하는 것은 간단하지 않습니다. 일부 팀은 로봇의 손끝에서 작업자의 손끝으로 촉각 감각을 전달하는 매우 복잡하고 값비싼 미세유체 장갑을 사용했습니다. 다른 팀에서는 손가락에 장착된 소형 진동 모터를 사용하여 거칠기를 작업자가 느낄 수 있는 촉각 피드백으로 변환했습니다. 또 다른 접근 방식은 로봇의 손가락에 마이크를 장착하는 것이었습니다. 손가락이 다른 표면 위로 움직일 때 거친 표면은 조작자에게 더 큰 소리를 내고 매끄러운 표면은 더 부드럽게 들립니다.
[왼쪽] 많은 팀은 상용 가상현실 헤드셋을 인터페이스의 일부로 사용했습니다. 아바타 인터페이스는 운영자가 로봇을 효과적으로 제어할 수 있도록 최대한 몰입적으로 만들어졌습니다.
원격 환경을 인지하는 것 외에도 작업자는 로봇을 효율적이고 효과적으로 제어해야 했습니다. 기본 제어 인터페이스는 마우스와 키보드 또는 게임 컨트롤러입니다. 그러나 제어의 자유도가 높고, 운영자의 로봇제어 교육 시간이 제한되어 있으며, 경쟁이 속도로 평가되는 경쟁 상황에서 팀은 창의력을 발휘해야 했습니다. 일부 팀은 동작 감지 가상현실 시스템을 사용하여 작업자의 동작을 아바타 로봇으로 전송했습니다. 다른 팀은 물리적 인터페이스를 선호했습니다. 작업자를 하드웨어(거의 로봇 외골격과 유사)에 묶어서 동작을 읽고 이에 맞게 아바타 로봇의 팔다리를 작동시키는 동시에 힘 피드백을 제공할 수 있었습니다. 작업자의 팔과 손이 조작하기 바쁘기에 운영자는 발 페달을 사용하여 로봇을 걷게 했습니다.
Northeastern의 로봇이 코스를 따라 이동합니다.XPrize 대회의 또 다른 과제는 아바타 로봇을 사용하여 원격 인간과 통신하는 방법이었습니다. 팀은 텍스트 전용 또는 음성 전용 인터페이스를 사용하지 않고 의사소통이 얼마나 자연스러운지를 평가받았습니다. 대신 팀은 로봇에게 표현력이 풍부한 얼굴을 부여했습니다. 이 방법으로 운영자는 화면을 사용해 인터페이스에서 쉽게 소통했습니다. 운영자를 가리키고 스트리밍 하여 로봇에 표시하는 웹캠은 잘 작동했습니다.
그러나 운영자의 얼굴이 부분적으로 가려지는 VR 헤드셋을 사용하는 인터페이스의 경우 팀은 다른 솔루션을 찾아야 했습니다. 일부 팀에서는 헤드셋 내 시선 추적 및 음성 인식을 사용하여 운영자의 음성과 얼굴 움직임을 애니메이션 얼굴에 매핑했습니다. 다른 팀에서는 눈과 입의 움직임을 반영하기 위해 사용자 얼굴의 실제 이미지를 동적으로 왜곡했습니다. 상호작용이 원활하지는 않았지만 놀라울 정도로 효과적이었습니다.
다음 내용은 pt2에서 이어집니다
