코카콜라가 설문 대신 표정을 분석한 이유

감성을 데이터로 만든 30년의 여정과 감성 AI의 오늘

컴퓨터가 마음을 읽는다는 엉뚱한 상상

1995년, MIT 미디어랩의 한 연구자가 흥미로운 질문을 던졌다.

컴퓨터가 인간의 감성을 인식할 수 있다면 어떨까?

지금은 그리 낯설지 않은 이야기지만, 1990년대 중반에 이 질문은 상당히 도발적이었다. 당시의 컴퓨터 과학은 오로지 정확성과 효율성을 최고 가치로 삼는 분야였고, 감성이란 변수가 너무 많고 측정하기 어려우며 무엇보다 과학적이지 않다는 인식이 지배적이었기 때문이다. 감성을 컴퓨터와 연결 짓는다는 발상 자체가 당시 주류 연구의 흐름과는 거리가 멀었다.

로잘린드 피카드(Rosalind Picard)는 이 아이디어를 1995년 MIT 기술 보고서로 발표했고, 1997년에는 '감성 컴퓨팅(Affective Computing)'이라는 제목의 단행본으로 출간했다. 책의 핵심은 '진정한 지능을 갖춘 컴퓨터라면 인간의 감성을 인식하고 그것에 적절히 반응할 수 있어야 한다'는 내용이었다.

이 새로운 아이디어가 하나의 분야를 만들었고, 그 분야는 이후 수십 년간 연구자들의 손을 거쳐 지금 우리가 이야기하는 감성 AI로 이어졌다. 코카콜라는 어쩌다가 설문지 대신 소비자의 표정을 분석하게 되었을까?

우리 일상 곳곳에 숨어있던 기분 좋은 설계

감성을 이해하고 설계에 반영하려는 시도는 감성 컴퓨팅이라는 개념이 나오기 전부터 이미 우리 삶 깊숙이 자리 잡고 있었다.

자동차 핸들을 손에 쥐었을 때 전해지는 묵직하고 안정적인 감촉이나 음료 캔을 딸 때 들리는 경쾌한 소리, 그리고 스마트폰 버튼을 누를 때의 짧고 선명한 진동은 모두 우연의 산물이 아니다. 수십 년 전부터 엔지니어와 디자이너들이 사람의 감성 반응을 연구하고 그 결과를 제품 설계에 정밀하게 반영해 온 결과다. 이를 학문적으로 감성공학(Emotion Engineering)이라고 부른다.

의료 현장에서는 환자의 표정과 행동에서 통증의 정도를 판단해 왔고, 교육 현장에서는 학생의 자세와 표정에서 집중도를 가늠해 왔다. 마케팅에서는 사람들을 모아놓고 소비자 반응을 관찰하며 광고와 제품을 다듬어 왔다. 다만 이 모든 과정이 예전에는 사람의 눈과 직관에 의존했을 뿐이다.

감성 AI가 하는 일은 바로 이 과정을 데이터로 만드는 것이다. 사람의 직관과 경험에 기대던 감성 분석을 카메라와 센서 그리고 알고리즘으로 자동화하고 정밀화하는 과정이다. 이 관점에서 보면 감성 AI는 전혀 새로운 무언가가 아니다. 인간이 오랫동안 해왔던 일을 기술이 더 정확하고 일관되게, 그리고 더 큰 규모로 수행하기 시작한 것이다.

상상이 현실이 되기까지의 여정

감성공학의 필요성은 오래전부터 존재했다. 그 필요를 기술이 어떻게 따라잡아 왔는지 시대별로 함께 들여다보고자 한다.

1997년, 막연했던 생각이 이론으로 태어나다

피카드의 감성 컴퓨팅 이론이 등장했을 때 이 분야는 이론적인 가능성만 존재했다. 감성을 측정하고 싶어도 당시의 웹캠 해상도는 얼굴 표정의 미세한 움직임을 잡아내기에 너무 부족했고, 컴퓨터의 연산 속도는 실시간 분석을 감당하기 어려웠다. 무엇보다 인공지능을 학습시키는 데 필요한 대규모 데이터가 존재하지 않았다. 이론의 가능성은 보였지만, 실현되기에는 당시 기술이 부족했던 것이다.

2000년대, 얼굴 근육의 지도를 그리기 시작하다

이 시기의 핵심은 표정 분석이다. 심리학자 폴 에크만(Paul Ekman)이 1970년대에 정립한 FACS(얼굴 움직임 부호화 시스템)는 인간의 얼굴 근육 움직임 44개 단위의 조합으로 감성 표현을 분류하는 체계였다. 2000년대 들어 연구자들은 이 시스템을 컴퓨터가 자동으로 읽도록 만들려는 시도를 본격화했다. 당시에는 정확도가 낮았고 실제 환경에 적용하기는 여전히 어려웠지만, 감성을 소프트웨어의 언어로 번역하려는 본격적인 첫번째 시도였다.

2010년대, 진짜와 가짜 미소를 구분하기 시작한 인공지능

2012년 이미지 인식 대회에서 딥러닝 기반 모델인 AlexNet이 기존 방식의 오류율을 절반 가까이 낮추며 인공지능 분야 전체를 뒤흔들었다. 표정 인식과 감성 분석 기술도 이 흐름 속에서 빠르게 정확도를 높여갔다. 그리고 바로 이 시기에 감성 AI는 연구실을 나와 실제 비즈니스 현장에 처음으로 닿기 시작했다.

그 중심에 Affectiva가 있었다. 2009년 MIT 미디어랩에서 창업한 Affectiva는 표정 분석 소프트웨어인 Affdex를 개발하고 이를 광고 효과 측정에 상업적으로 적용하기 시작했다. Affdex는 소비자들이 광고를 시청하는 동안 웹캠으로 얼굴 표정을 분석하고 그 반응을 아주 짧은 시간 단위로 기록한다. 광고의 어느 장면에서 집중도가 올라가고 어느 순간에 기분이 변하는지를 데이터로 보여주는 방식이다.

[출처 - Affectiva] 코카콜라 광고 영상 이미지

코카콜라는 그 초기 고객들이었다. 원래 코카콜라는 새로운 광고를 테스트할 때마다 포커스 그룹 인터뷰에 의존했다. 참여자들이 광고를 보고 "어떠셨나요?"라는 질문에 답하는 방식이다. 그런데 Affectiva의 기술을 활용하면서 결과가 달라졌다. 참여자들이 웃고 있을 때도 얼굴 근육의 미세한 움직임을 분석하니 그것이 진심 어린 즐거움인지 아니면 예의 바른 미소인지가 구분되었다. 광고의 어느 장면에서 감성 반응이 가장 높았는지 혹은 어느 순간에 집중력이 떨어졌는지가 숫자로 나타났다. 사람이 말한 것이 아닌 얼굴이 반응한 것을 읽어낸 첫 번째 상업적 사례였다.

또 다른 주목할 만한 사례는 글로벌 식품 기업인 마즈(Mars)다. Affectiva와 공동으로 진행한 이 프로젝트는 감성 AI 역사에서 중요한 이정표로 남아 있다. 미국, 영국, 프랑스, 독일 4개국에서 1,500명의 소비자가 초콜릿과 껌 그리고 반려동물 식품 등 200개 이상의 광고를 시청하는 동안 표정을 분석했다. 광고에 대한 감성 반응이 실제 매출을 예측할 수 있는가를 확인하기 위해서였다.
결과는 놀라웠다. 표정 분석만으로도 설문 조사 단독보다 매출 예측 정확도가 높았고, 표정 분석과 설문을 함께 활용했을 때는 예측 정확도가 75%에 달했다. 감성 데이터가 비즈니스 성과와 직접적으로 연결될 수 있다는 것을 처음으로 대규모로 입증한 순간이었다.

[출처 - Affectiva] Mars의 Affdex 사용 예시 화면

Affectiva는 이후 칸타(Kantar), 언룰리(Unruly) 등 글로벌 리서치·미디어 기업들과 파트너십을 맺으며 영역을 넓혀갔다. 칸타와 Affectiva가 공동으로 분석한 연구에 따르면, 강한 감성 반응을 유발한 광고는 그렇지 않은 광고보다 브랜드 가치를 만드는 데 4배, 널리 퍼지는 데 2.6배 더 효과적인 것으로 나타났다. 광고의 효과를 단순히 클릭 수나 시청 시간이 아닌 감성 반응으로 측정해야 한다는 주장이 데이터로 뒷받침되기 시작한 것이다.

[출처 - KANTAR] Kantar와 Affectiva의 공동 연구 결과

감성 AI의 적용 범위는 광고를 넘어 자동차 산업으로도 확장되었다. Affectiva는 2018년 차량 내 카메라로 운전자의 졸음이나 주의 분산 그리고 피로도를 실시간으로 감지하는 기술을 출시했고 BMW, 포르쉐, 현대기아 등 글로벌 자동차 기업들과 협업했다. 감성 AI가 안전의 영역으로 들어온 것이다.

Affectiva가 인수될 즈음인 2021년, 이 회사는 90개국 1,000만 건 이상의 표정 영상 데이터를 보유했으며 전 세계 53,000개 이상의 광고를 분석했다. 포춘 글로벌 500 기업의 28%와 세계 최대 광고주들의 70%가 이 기술을 사용하고 있었다. 한 연구자의 엉뚱한 질문이 글로벌 기업들의 의사결정 도구가 되기까지 걸린 시간은 약 20년이었다.

2020년대, 오감을 통합해 마음을 읽는 새로운 시대

코로나 팬데믹은 사람과 직접 닿지 않고도 감성을 측정하려는 비접촉 감성 측정 수요를 급격히 키웠다. 동시에 인공지능 기술은 단순히 표정만 보는 한계를 넘어 다양한 정보를 동시에 활용하는 멀티모달(Multimodal) 방식으로 진화하기 시작했다. 표정, 음성, 심박수, 시선을 동시에 분석하고 통합하는 모델들이 등장했고 GPT-4나 제미나이(Gemini) 같은 대형 언어모델이 감성 분석 과정에 포함되면서 감성 AI는 더 이상 특수한 영역이 아니라 인공지능 기술 전체의 일부가 되어가고 있다.

더 나은 미래를 위해 기술과 세상이 발맞추는 과정

감성 AI가 지금까지 제한적으로 적용될 수밖에 없었던 이유는 기술 자체의 정확도 문제와 충분한 학습 데이터의 부족 그리고 감성 데이터 수집에 대한 신뢰와 윤리의 문제였다.

앞의 두 가지는 상당 부분 해소되고 있다. 딥러닝과 멀티모달 AI가 정확도를 빠르게 끌어올리고 있고, AffectNet, DEAP, MAHNOB-HCI 같은 대규모 공개 감성 데이터셋이 연구 기반을 넓히고 있다. 마즈와 코카콜라의 사례에서 확인했듯 기술이 비즈니스 성과에 직결된다는 것도 데이터로 증명되었다.

마지막으로 신뢰와 윤리의 문제는 아직 해결해 나가는 중이다. 유럽의 인공지능 법(EU AI Act)을 포함해 각국에서 감성 인식 AI에 관한 법적 논의가 활발하게 이루어지고 있으며 한국에서도 관련 논의가 계속되고 있다. 이 논의들은 기술을 막으려는 제약이 아니라 기술이 더 신뢰받는 방식으로 널리 쓰일 수 있는 기반을 만드는 과정으로 봐야 한다. 세상이 완전히 준비된 것은 아니지만 방향은 분명하고 속도는 빠르다.

그러니 지금 감성 AI는 반짝 등장한 한철의 유행으로 볼 수는 없다. 감성공학이 수십 년 동안 우리 삶에서 조용히 해왔던 일, 즉 사람의 감성을 이해하고 더 나은 경험을 설계하는 일을 AI가 드디어 정밀하게 그리고 대규모로 실현할 수 있게 된 것이다. 기술이 필요성을 따라잡은 순간이 바로 지금이다.

마무리하며

코카콜라가 설문 대신 표정을 분석하기로 했을 때 그 결정의 배경에는 수십 년에 걸친 연구자들의 질문과 도전이 있었다. 컴퓨터가 사람의 말이 아닌 몸의 반응을 읽을 수 있다면 어떨까 하는 이 하나의 물음이 MIT 연구실에서 글로벌 기업들의 의사결정 현장까지 흘러든 것이다.

감성공학의 역사를 아는 사람은 지금 이 순간을 다르게 본다. 새로운 기술이 뜬다고 해서 무작정 서두르지 않고 그 기술이 어디서 왔는지를 알기 때문에 어디로 가는지도 가늠할 수 있다. 포춘 500 기업의 4분의 1이 이미 감성 AI를 의사결정에 활용하고 있는 지금, 이 기술을 이해하고 자신의 분야에 먼저 적용해 보는 사람이 갖게 되는 이점은 분명히 존재한다.

그렇다면 당신의 분야에서 감성에 해당하는 신호는 무엇인가. 당신은 지금 그것을 읽고 있는가 아니면 여전히 설문에만 의존하고 있는가.

다음 편에서는 감성 AI의 역사를 알았으니 이번엔 지금의 지형을 살펴볼 차례다. MIT 미디어랩과 Affectiva가 만들어놓은 기반 위에서 지금 이 생태계에는 어떤 주인공들이 어떤 문제를 풀고 있는지 알아보고자 한다. 그리고 대형 언어모델의 등장이 이 판을 어떻게 바꾸고 있는지를 다음 글에서 함께 그려보겠다.

---

참고 문헌

Affectiva 공식 홈페이지. https://www.affectiva.com/

Ekman, P., & Friesen, W. V. (1978). Facial action coding system. Environmental Psychology & Nonverbal Behavior.

Kantar & Affectiva. (2023). Digital ads which evoke strong emotions are four times more likely to drive brand equity. https://www.kantar.com/north-america/company-news/digital-ads-which-evoke-strong-emotions-are-four-times-more-likely-to-drive--brand-equity

Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems, 25.

Picard, R. W. (2000). Affective computing. MIT press.