가상 인터뷰 VS 진짜 인터뷰,뭐가 달랐을까

GPTs 사용자 인터뷰 체험기

프로젝트를 진행하다 보면 실제 사용자는 어떻게 생각할까 하는 순간이 자주 찾아옵니다.

특히 새로운 서비스를 기획할 때 더욱 그렇죠.

'정말 이 서비스가 필요하다고 느낄까?'
'어떤 부분을 가장 기대할까?'

이런 근본적인 질문에 대한 실마리를 찾고 싶을 때 지금 당장 우리 서비스를 쓸 법한 사용자에게 물어볼 수 있다면 얼마나 좋을까 하는 생각이 들곤 하는데요,

'차량 구매 사용자 여정 별 문제 및 기회 발굴'을 목적으로 사용자 인사이트를 빠르게 얻기 위해 GPTs를 활용한 가상 사용자 인터뷰 실험을 진행했습니다. (GPTs : 이용자들이 ChatGPT를 커스터마이징하여 만든 챗봇으로, 앱과 비슷한 개념. 생성과 활용 모두 유료 플랜 구독 시 가능.)

결론부터 말하자면 장단점이 명확했고, 실제 사람과 인터뷰와는 다른 지점을 발견할 수 있었습니다.

실험 과정

: 퍼소나 생성부터 인터뷰 결과 분석까지

가상 인터뷰를 위해서 ChatGPT 내 여러 가지 GPTs를 활용했습니다. 전체 과정은 실제 인터뷰와 동일하게 프로젝트의 목적에 맞는 퍼소나 정의-질문지 설계-인터뷰 진행-결과 정리(어피니티다이어그램) 순으로 진행했습니다.

'GPT 탐색'에서 원하는 GPTs 검색

퍼소나 생성 > Persona Creator

인터뷰 스크립트 생성 > User Interview GPT

인터뷰 진행 > User Interview Simulator

인터뷰 결과 정리 > UX Research Assistant

이 과정에서 느낀 건 AI가 생각보다 꽤 그럴듯한 답변을 한다는 것이었습니다. 묘사하는 사용 맥락도 자연스럽고, 불편한 점도 꽤 논리적으로 지적합니다. 하지만 동시에 사람과는 확연히 다른 점도 느껴졌습니다.

실제 사용자 인터뷰와 다른 점은?

➀ 답변이 '내 목표'에 종속되기 쉽다

가상 인터뷰 설계 시 좋은 답변을 끌어내기 위해 프로젝트의 목적, 기대하는 인사이트 등 사전 프롬프팅을 하게 됩니다. 그런데 그렇게 되면 퍼소나의 답변이 어느새 내가 듣고 싶어 하는 말로 귀결되는 경우가 많습니다.

정신교육이 너무 잘 되어버린 인터뷰이

자연스럽게 서비스 가치를 긍정하는 답이 되는데, 실제 사용자 관점의 리얼리티와는 어긋날 수 있습니다.

② '모순'이 없다 = 생각의 진화가 없다

실제 인터뷰에서 흥미로운 순간은 오히려 답변이 바뀔 때입니다. 처음엔 "혜택 받을 적 없어요."라고 말했던 사용자가, 인터뷰 도중 "아 맞다. 예전에 포인트 적립한 적 있었네요."라고 정정하는 경우가 있죠.

이러한 모순은 단순한 실수가 아니라 사용자가 자신의 경험을 되짚어가며 생각이 변화하는 과정입니다. 이걸 통해 우리는 더 깊은 인사이트를 얻을 수 있습니다.

▷ '혜택을 받았지만 기억에 남지 않았다.'

▶︎ '체감되지 않는 혜택은 결국 무의미하다'

하지만 AI는 초반부터 후반까지 비슷한 답을 반복합니다. 사용자 '생각의 흐름'이 아니라 '고정된 논리'만 남게 되는 거죠.

초반-중반-후반 질문에 답변 일관성 200%

③ 예상 밖의 행동이나 생각이 없다

AI는 설정한 퍼소나의 틀 안에서만 움직입니다. 결국 우리가 만든 '전형적인 사용자'의 생각과 행동만 반영되기 때문에 진짜 인터뷰에서 자주 발견되는 예상 밖의 말, 비틀린 인식, 전혀 다른 사용 맥락 같은 건 거의 나오지 않습니다.

실제 인터뷰에서는 이런 의외성이 퍼소나를 더욱 정교하게 만들어 줍니다. 가설을 깨는 답변이 퍼소나 고도화의 출발점이 되기도 하니까요. 그런 면에서 AI는 초기 퍼소나 정의에는 쓸 수 있어도 고도화까지는 어려움이 있다는 것을 체감했습니다.

④ 사용하는 언어 수준이 높다

인터뷰 스크립트를 쭉 읽어보고 "AI가 사용하는 언어 수준이 높다'는 것을 발견했습니다. 실제 사용자 인터뷰에서 사람들은 자신의 생각과 느낌을 말로 잘 설명하지 못하는 경우가 많은데 AI는 언어적으로 훨씬 정제된 표현을 사용하고 있었던 것이죠.

예를 들어 인터뷰에서 '구조', '정제된 정보'같은 단어가 자연스럽게 나오는데, 실제 인터뷰에서 그런 표현을 쓰는 경우는 드뭅니다.

이런 점을 고려하여 사용자의 앱 사용 빈도나 언어 숙련도, 지식수준에 맞춰 프롬프트를 튜닝하거나 인터뷰 결과 자체를 사용자 숙련도 기준으로 비교하는 것이 필요할 것으로 보입니다.

그럼에도 불구하고,

분명한 장점도 있다

위와 같은 한계가 있지만 AI 인터뷰는 초기 가설을 수립하고 검증 계획을 세우는 데 꽤 강력한 도구가 될 수 있습니다.

"지금 우리 서비스를 쓸 법한 사람이면 뭐라고 할까?"를 5분 만에 확인해 볼 수 있고, 실제 인터뷰의 질을 높이기 위해 질문 흐름을 점검하고, 어떤 인사이트를 얻고 싶은지 한번 더 정리할 수 있습니다.

다만 위의 사례처럼 AI아첨, 환각 현상으로 인한 한계를 인지하고 결과를 효과적이고 책임감 있게 사용하기 위한 노력이 필요합니다.

이와 관련하여 UX의 창시자로 여겨지는 도널드 노먼의 UX 컨설팅 회사, 닐슨 노먼 그룹(Nielsen Norman Group)에서는 AI 가상 인터뷰에 대한 지침을 제시하고 있습니다.

AI는 빠르지만 깊이는 사람에게서 나온다

이번 실험을 통해 느낀 것은 AI는 인터뷰의 대체재가 아니라 보완재라는 것입니다.

가상의 사용자와의 인터뷰는 빠르게 시도할 수 있고 인터뷰 설계나 가설 점검에 아주 유용합니다. 하지만 깊이 있는 인사이트, 예상 밖 맥락, 퍼소나 고도화의 실마리는 결국 사람과의 대화에서 나옵니다.

AI는 빠른 시뮬레이션 도구, 사람은 깊이 있는 인사이트의 원천. 이 두 가지를 실무에서 어떻게 적절히 조합하느냐에 따라 더 정교하고 풍부한 리서치 결과를 얻을 수 있을 거라 기대해 봅니다. :)