구글 DolphinGemma: 돌고래어 통역 AI
인간끼리만 소통하라는 법 있나요?
영화 <니모를 찾아서> 보셨나요?
'니모를 찾아서' 모험을 떠난 도리는 고래에게 대화를 시도합니다. 고래의 소리를 흉내내기 위해 목소리의 높낮이를 극단적으로 바꾸며 우스꽝스러운 소리를 내는데요. 표정이 재미있어 팬덤이 많은 장면입니다. 하지만 영화 개봉이 몇 년 후였다면, 없었을 장면일지도 모르겠습니다.
4월 14일, 세계 돌고래의 날을 맞아, 구글은 조지아 공대와 야생 돌고래 연구 단체인 와일드 돌핀 프로젝트(Wild Dolphin Project, 이하 WDP)와 협업해 ‘DolphinGemma (돌핀젬마)’라는 AI 모델을 공개했습니다. 돌핀젬마는 야생 돌고래가 내는 소리를 학습해, 구조를 분석하고 유사한 소리까지 낼 수 있는데요. 돌고래에게 말을 거는 시대가 열리려고 합니다.
'돌고래어' 마스터하기
WDP는 세계에서 가장 오래 진행 중인 수중 돌고래 연구입니다. DolphinGemma(돌핀젬마)는 WDP가 1985년부터 축적해 온 방대한 수중 음성 및 영상 데이터로 학습했는데요. WDP는 개입하지 않는 관찰 방식을 고수하며, 바하마 해역에 서식하는 대서양 얼룩무늬 돌고래(Stenella frontalis)를 연구해 왔습니다.
대서양 얼룩무늬 돌고래. 출처: 구글WDP는 어떤 데이터를 수집할까?
- 개별 돌고래의 ‘이름’과 정체성
- 사회적 관계와 행동 패턴
- 개체별 생애 이력
- 각 소리 발생 당시의 상황 및 맥락
가장 섬세한 소통 방식을 가진 동물 중 하나인 돌고래는 다양한 유형의 소리를 사용하는데요. 대표적으로는 고주파 휘파람(Whistle)과 스타카토 같이 리듬감 있는 클릭음을 의미하는 버스트 펄스(Burst Pulse)가 있습니다.
'돌고래어'의 기본인 휘파람(왼쪽)과 버스트 펄스(오른쪽) 시각화. 출처: 구글휘파람 (Whistle)
우리가 부는 휘파람처럼, 부드럽고 멜로디 형태로 음 높이가 변화하는 소리를 말합니다. 주로 개체 식별, 사회적 유대 유지 등의 목적으로 내는 소리인데요. 고주파인 휘파람은 장거리 소통에 적합합니다. 흥미롭게도 돌고래마다 이름처럼 사용하는 ‘시그니처 휘파람(Signature Whistle)’이 있다고 하는데요. 주로 어미 돌고래가 새끼 돌고래와 소통할 때 쓰이는 소리입니다.
어미 돌고래가 새끼 돌고래를 부르는 휘파람 시각화. 출처: 구글버스트 펄스 (Burst Pulses)
팍 터지는(burst), 주기적인 짧은소리(pulse)라는 이름에서 유추할 수 있듯이, 매우 빠른 속도로 짧고 강한 클릭음을 연속적으로 방출하는 소리입니다. 휘파람에 비해 소리 구조가 거친데요. 일반적으로 가까운 거리에서 전달됩니다. 사람으로 치면 ‘소리 지르기’나 ‘흥분한 말투’에 가깝지요. 돌고래 역시 공격이나 짝짓기와 같은 흥분 상태에서 주로 사용합니다.
DolphinGemma: 돌고래 소리를 학습하고 생성하는 AI
돌핀젬마는 돌고래 소리의 구조를 이해하고, 그에 따라 돌고래 같은 소리를 예측하고 만들어내는 인공지능입니다. 구글의 경량 AI 모델 시리즈인 ‘Gemma(젬마)’를 기반으로 개발되었지요. 스마트폰과 같은 작은 기기에서도 실행 가능하도록 최적화되어 있는데요. 덕분에 현장에서 실시간으로 사용이 가능합니다. 작동 방식을 가볍게 살펴볼까요?
1. 돌고래 소리를 AI가 알아들을 수 있도록 변환한다.
구글의 신경망 기반 오디오 압축 기술인 SoundStream(사운드 스트림)을 사용합니다. 복잡한 돌고래의 소리를 분석 가능한 형태와 단위로 변환합니다.
2. 변환한 돌고래 소리를 듣고, 다음에 나올 '말'을 예측한다.
돌고래 소리의 연속성과 문법 구조를 학습하여, 다음에 올 가능성이 높은 소리를 예측합니다. 마치 챗GPT가 문장 속 다음 단어를 예측하듯, 돌핀젬마는 다음 소리를 생성합니다.
CHAT 시스템: 돌고래와 CHAT하기
소리 분석을 넘어, 실제로 돌고래와 간단하게 소통하려는 시도도 이뤄지고 있습니다. 바로 CHAT(Cetacean Hearing Augmentation Telemetry) 시스템인데요. 이름 그대로 직역하면 '고래류 소리 증강 원격 측정'입니다. 조지아 공대의 연구원 스콧 길리랜드(Scott Gilliland)가 설명하는 CHAT 시스템을 살펴보시죠!
돌고래와 소통하는 환상의 세계를 열기 위해서는 먼저, 사진 속 스콧이 몸에 두른 기기를 알아야 합니다.
목에 건 기기는 CHAT Junior입니다. 왼쪽 사진에서 스콧이 가리키는 검은 수중 마이크를 통해 돌고래의 소리가 들어갑니다. 팔에 두른 기기는 CHAT Light로, 물속에서 돌고래의 휘파람 소리를 흉내 냅니다.
소리를 해석하고 생성하는 과정에 돌핀젬마가 사용됩니다.
필요한 기기를 챙겼으니, 물속으로 들어가 볼까요?
CHAT 시스템을 활용하는 모습. 출처: 구글CHAT 기기를 착용한 두 명의 잠수부가 있습니다. 두 명의 잠수부는 CHAT 기기를 통해, 기존 돌고래 소리와는 다른 새로운 합성 휘파람 소리를 서로 주고받으며, 돌고래 앞에서 손수건을 반복하여 주고받습니다.
연구진은 돌고래가 이 장면을 관찰하여 놀이로 인식한 뒤, 휘파람 소리를 흉내 내는 상황을 가장 이상적인 시나리오로 보는데요. 만약 돌고래가 합성 휘파람을 따라 하면, 잠수부는 CHAT 시스템을 통해 소리를 실시간으로 인식하고, 돌고래에게 요청한 손수건을 주어 놀이에 참여시킬 수 있습니다. 특정 소리와 물건의 연관성을 강화하는 방법이지요. 돌고래와 인간끼리 소통할 수 있는 소리 체계이자 언어를 만드는 전략입니다.
올해 여름, 구글은 누구나 조정하여 AI 모델을 만들 수 있도록 DolphinGemma를 오픈소스로 공개할 계획입니다. 지금은 대서양 얼룩무늬 돌고래에 맞춰 훈련되었지만, 병코 돌고래나 회전 돌고래와 같은 다른 돌고래 종에도 적용 가능하도록 미세 조정(Fine-tuning)할 수 있어, 확장 가능성이 무한해집니다.
저희 조카는 '후아'라는 돌고래 인형이 있습니다. 숨거나 도망치는 놀이를 할 때면 함께 피신하며 대화를 나누곤 하는데요. 조카가 어른이 된 세상에서, 후아와 조카에게 더 많은 돌고래 친구들이 생길 것 같아 든든합니다.
상상해 보는 조카와 '후아'의 모습. 생성: 챗GPT