'Synthetic User'와 실제 사용자의 응답을 비교
글 읽기에 앞서 연구의 결과만 궁금하신 분들은 '3)연구 결과'부터 읽으시면 됩니다.
요즘 집 앞에 찾아오는 고양이가 있어 간식을 챙겨주고 있습니다. 이제 어느정도 친밀감이 형성되어 북북 만지는걸 허락하다가도 어느날은 솜방망이 펀치를 맞기도 하는데 고양이의 마음이란 알다가도 모르겠네요..
그리하여 다시 깔게된 '미야오톡'
한 때 다양한(?) 번역으로 화제가 되었던 어플입니다.
아쉬운 점은 시간이 지나며 지금은 유료 플랜을 사용해야 한국어 번역을 쓸 수 있게 되었다는 점 입니다.
그리하여 한글 번역이 유료화됨에 따라서 제공되는 번역에 대해 기대치가 높아질 것으로 예상되었습니다. 따라서 사람들이 제공되는 다양한 어조 중 어떤 어조를 더 선호하는지 파악하기 위해
[ figjam ai / gemini / maze ]를 사용하여 알아보았습니다.
또한 ai가 예상하는 'Synthetic User'의 선호도와 실제 사용자의 응답을 비교하여 차이점이 존재하는지도 알아보고자 했습니다.
설문조사 전 질문을 구성하기 위해 gemini를 사용하여 사용자가 고양이 번역 앱을 사용하는 구체적인 상황 10가지를 제안받고 figjam ai를 통해 4가지 어조로 변환하였습니다.
기본 어조에서 4가지 방향으로 적용 결과 생각보다 어색한 결과물에 당황하였습니다. professional과 casual 사이에서는 어조의 차이가 있었으나 concise와 expanded 사이에선 크게 차이점이 느껴지지 않았고 제가 원했던 라이팅은 인간 친화적으로 변환해 주길 바랐지만 ai 같은 느낌이 강했습니다. 한국어라 아직 ai 학습이 적고 감성에 특화된 ux라이팅이라 어색함이 크게 느껴졌을 것이라 생각이 들었습니다.
따라서 figjam ai 사용을 포기하고 gemini를 이용하여 공손함 정도를 기준으로
[매우 공손함/ 약간 공손함/ 친근함 / 매우친근함] 4단계로 분류하여 사용하게 되었습니다.
gemini를 통해 생성된 ux writing은 maze라는 설문조사 툴을 사용하여 선호도 조사를 진행하였습니다.
설문조사 기간
9월 16일-9월 20일
대상
20-30대 고양이 반려인,
고양이를 반려한 경험이 있는 자
인원
총 29명
maze를 사용하게 되면서 크게 느꼈던 장점은 구글 설문 사용 시 최종 질문 확인 시에 복사본을 만들어 테스트를 진행해야 했는데 maze는 미리 보기 화면에서 사용자 행동이 기록되지 않아 최종 설문을 확인하는데 편리함을 느꼈습니다. 또한 잘못 작성된 설문을 삭제할 수 있어 설문 결과를 해석할 때 어려움 없이 해석할 수 있는 부분이 장점으로 느껴졌습니다.
다만 블록을 쌓아 만드는 ui가 재미있다고 느껴짐과 동시에, 기본으로 제공되는 문항수가 7개로 제한적이라 구체적인 질문 구성을 하는 것은 다소 불편하게 느껴졌습니다.
그리하여 기존에 설문하려 했던 10가지 상황에서 사용 빈도가 높을것으로 예상되는 5가지 상황으로 줄이게 되었습니다. 남은 두 개의 질문은 전반적으로 선호하는 어조와 그 이유에 대해 직접적으로 묻는 질문으로 구성하여 실제 사용자와 gemini에서 예상한 'Synthetic User’의 차이점을 살펴보았습니다.
설문조사 툴 maze
7개의 질문 중 5개의 질문에서 실제 사용자와 가상 사용자 모두 동일한 답변으로 응답하였습니다.
응답에 차이가 있던 부분은 3,4번 항목인 놀고 싶어 하는 상황과 고양이가 아픈 상황 두 가지 경우였습니다.
3번 항목에서 실제 사용자는 '심심해!놀아줘!'를 선호하였지만 가상사용자는 '놀자!' 를 예상하였고,
4번 항목에서 실제 사용자는 '몸이 안 좋아.'를 선호하였지만 가상사용자는 '아파!'를 예상하였습니다.
이 부분에서 maze 에서의 설문 개수 제한으로 실제 사용자의 답변 이유를 물어보지 못하여 아쉬운 부분이 있었습니다.
[구체적 상황별 선호도 비교]
전반적인 어조에 대하여 선호도를 묻는 질문에서는 동일하게 ‘친근한 어투(엄마,아빠)’에 대한 선호도가 높았으며, 선택 이유에서 유대감과 감정 교류라는 공통점이 있었으나 실제 사용자들은 구체적인 이유를 들어 자신의 취향에 따라 선택했음을 설명하고, 고양이의 성격에 따라 선호하는 어조가 달라질 수도 있다는 다양성에 대한 부분을 설명했습니다. 또한 몇몇의 유저들은 설문조사 후 개인 연락을 통하여 개인 맞춤 기능을 제시하였습니다. (이유들이 꽤나 재미있어 첨부합니다.)
[전반적 어조 선호도와 이유]
결론적으로 객관식 문항에서의 답변은 어느 정도 적중률이 높으며 대체로 사용하여도 충분할 것 같다고 느꼈지만, 구체적인 답변을 요하는 부분에서는 아티클에서 주의한 부분인 가상 사용자가 실제 사용자만큼의 깊이, 공감, 복잡성을 반영하지 못한다는 점을 체감하게 되었습니다.
그렇지만 가상 사용자를 설정하고 질문을 구성하는 부분에서는 크게 도움이 되었으며, 이와 같은 부분을 고려하여 연구 단계별로 실제 사용자와 ai를 적절히 활용하여 사용한다면 연구 목적을 효율적으로 달성할 수 있다는 생각이 들었습니다.
본 연구는 대학원 과제로 수행되었으며, 상대적으로 적은 규모의 설문조사로 진행되었습니다. 따라서 대규모 설문조사를 통해 연구가 진행될 경우, 본 연구와는 다른 결과가 도출될 가능성이 있습니다.
관련 자료
https://www.nngroup.com/articles/synthetic-users/