by
May 13. 2022
Figma 팀에서 데이터를 활용하는 방법
Figma의 댓글 기능 개선에 데이터 분석, 실험이 어떻게 활용됐을까
이 글에는 Figma Blog의 From experiment to launch: how data shaped a new comments experience 을 일부 번역한 내용이 포함되어 있습니다. 영어 실력을 포함한 여러 능력 부족으로 오역과 잘못된 내용이 있을 수 있으니 꼭 원문을 확인해주시기 바랍니다.
원문의 저자는 Figma의 Data Scientist인 Emily Jia입니다.
2021년 4월에 Figma는 무료 구간에서 신규 유저들이 협업을 충분히 경험할 수 있게(the full potential of multiplayer) 스타터 플랜(이하 SP)을 개편했다. Figma는 Collaboration을 매우 강조한다. 디자인은 결코 혼자만의 행위가 아니라고 여기고, 클로즈 베타 출시 시점부터 웹 브라우저에서의 사용에 심혈을 기울인 것도 협업툴로서 Figma의 가치를 키우기 위함이었다.
When my co-founder Evan and I launched Figma in closed beta five years ago, we bet everything on the browser. Like many others that used Google Docs at school and then returned home to virtual worlds, we intuitively understood that Internet native software embodies values like collaboration, transparency and access.
- Meet us in the browser
We all know that design is never a solo act—there are always reviewers, clients, or teammates of some kind. That’s why we built Figma in the browser, which is what makes it inherently more collaborative than other design technology. In fact, that’s what leads many teams to Figma.
- About Figma’s new Starter plan
이들이 생각하는 협업은 단순히 에셋을 공유하는 수준이 아니라 Figma에서 실시간으로 함께 작업하는 것이다. 그런 면에서 당시 SP 정책의 핵심인 에디터 권한 2인 제한 정책이 Figma에서의 협업을 경험하는 데 긍정적이지 않다고 판단했다.
SP 정책 변경점
Drafts
file, page를 무제한으로 생성할 수 있고, viewer도 무제한으로 초대 가능
단, 수정 권한은 줄 수 없음
Team Space
에디터 권한 2인 제한 -> 에디터 권한 무제한
file, page, project 생성 개수에 제한을 둠
출처 : https://www.figma.com/blog/about-figmas-new-starter-plan/에디터 제한을 2배로 늘리는 등 다른 선택지도 고려했으나, 어떤 제한도 결국 자의적일 수밖에 없고 다양한 규모와 니즈를 가진 고객이 협업의 가치를 일관되게 느끼려면 에디터 제한을 없애는 방향이 가장 합리적이었다고 밝히고 있다.
SP 정책 변경이 잘 작동하는지 사전에 수천 명의 신규, 기존 고객 대상으로 테스트해서 아래 결과를 얻었다.
87% of users expressed excitement with the change to unlimited editors in the team space
Teams saw a 29% increase in collaboration without the two-editor limit
Users typically only actively collaborate on 2-3 files at a time, so the new file and pages limits in the team space felt reasonable, since unlimited files were still available in drafts
첫 번째 결과는 아마 설문조사를 통해 얻은 것으로 보인다. 두 번째 결과에서 increase in collaboration의 정확한 측정 기준이 궁금하다. 기술 블로그에서 얻을 수 있는 정보의 한계이기도 하지만 '내가 이 프로젝트의 PM이라면' 어떤 지표를 분석 대상으로 삼았을지, 혹은 어떻게 의사결정했을지 역의사결정을 해볼 수 있는 기회이기도 하다.
어찌 됐든 원문에서 다루는 Figma 댓글 기능 개선도 협업의 가치를 느낄 수 있는 magic moments를 찾는 과정에서 시작됐다. 에디터든 뷰어든 Figma 파일에 피드백을 남길 수 있다는 점에서 이들은 '댓글'에 주목했다. 데이터 상으로도 댓글 사용이 growth와 engagement의 강한 척도임이 확인됐다.
출처 : https://www.figma.com/blog/from-experiment-to-launch-how-data-shaped-a-new-comments-experience/첫 달에 collaborate한 팀의 1-Month 리텐션이 1.75배 높고, 유료 전환율은 6.5배 높다고 한다. 여기서 collaboration status가 댓글 사용 여부인지는 확실하지는 않지만 글의 맥락상 그렇게 추측했다. 댓글 사용의 효과는 관찰됐지만 정작 댓글이 많이 사용되지 않는다는 점에 Figma 팀은 주목했고, 왜 그런지 실험을 진행했다.
발견 가능성 가설(discoverability hypothesis)
Figma에서 댓글 모드로 진입하려면 왼쪽 상단 메뉴에서 댓글 아이콘을 눌러야 했다.
이전 댓글 기능 // 출처 : https://blog.rightbrain.co.kr/?p=11817여러 리서치 세션을 통해 유저가 댓글 기능을 잘 찾지 못한다는 것을 발견했다. 낮은 발견 가능성이 댓글 사용을 정말 방해하는지 확인하기 위해 실험을 진행했다. 이 지점에서 대부분은 직관에 근거해 '어떻게 하면 댓글 기능을 더 발견하게 할까'를 고민하고 실험할 텐데, 진짜로 그런지 확인하는 실험을 했다는 점이 대단하다면 대단한 것 같다.
view-only 권한만 있는 개발자를 초기 실험대상으로 정했는데, 이들이 Figma에서 디자이너와 밀접하게 협업하지만 댓글 활용이 가장 적기 때문이다. 실험은 50/50 split으로 2주간 진행됐고, 실험군의 마우스 포인터에는 'Click anywhere to comment'라는 지시문이 노출됐다. 댓글 사용의 1-Week 리텐션에는 변화 없이 실험군의 댓글 생성이 45% 더 많았다.
출처 : https://www.figma.com/blog/from-experiment-to-launch-how-data-shaped-a-new-comments-experience/예상치 못한 결과와 이후 행보
이후 제품팀이 댓글 기능을 잘 발견할 수 있게 하는 솔루션을 찾는 데 도움을 주고자 두 번째 실험을 진행했다. 저자의 팀은 댓글 아이콘을 메뉴바의 왼쪽에서 오른쪽으로 옮겨 보기로 했다. 왜냐하면 메뉴의 왼쪽에는 주로 디자이너의 작업에 필요한 기능이 있는 반면, 협업 파트너들은 협업 및 보기 기능이 주로 있는 오른쪽 영역을 더 많이 사용할 거라 생각했기 때문이다.
신규 유저를 50/50으로 나누고, 가입 후 7일 내 댓글 기능을 발견한 유저의 비율(users discovering comments. 아마 '한 번이라도 메뉴바에서 댓글 아이콘을 누른 유니크 유저수'로 측정하지 않았을까 싶다)을 비교했다. 그 결과 실험군이 오히려 20% 낮았다.
저자는 이 실험을 통해 작은 변화가 사용자 경험에 큰 영향을 줄 수 있고, 대부분의 제품 가설은 틀릴 수 있음을 다시금 떠올릴 수 있었다고 한다. 그러면서 Microsoft를 포함한 큰 기술회사들이 지표 개선을 위해 시도하는 아이디어의 1/3만 성공한다는 리포트를 언급한다.
In 2009, the experiment platform team at Microsoft revealed that around one third of ideas at Microsoft improve the metrics they were designed to improve, and other large tech companies report similar success rates.
기본적으로 통계적 유의미성을 확보하기 위해 충분한 정도의 배포 비율을 확보하려고 노력했다. 대신 버그나 사용자 경험의 혼란을 줄이기 위해 몇 주에 걸쳐 점진적으로 배포를 진행하고 유저에 미리 알렸다. 특히 댓글은 본질적으로 협업 기능이기 때문에 같은 팀에서 다른 댓글 경험을 하지 않도록 실험할 때 팀 단위로 무작위 할당했다. 그리고 팀 내에서의 댓글 사용에 상관관계가 있기 때문에 동일한 검정력을 유지하기 위해 평소보다 실험군을 더 크게 설계했다.
댓글 기능 개편
여러 형태로 실험을 지속했고, 그 결과 개편한 댓글 기능에는 발견 가능성을 포함해 댓글 관리, 정렬, 상호작용 측면의 개선도 고려됐다. 이 글에서는 바뀐 내용을 간략히 정리한다. 자세한 개편 내용은 Stay in the flow with redesigned comments 에서 확인할 수 있다.
1. 댓글 사이드바 추가
presentation 모드나 뷰어가 파일을 열었을 때, 댓글 사이드바를 추가해 발견 가능성 개선
2. 댓글 pin 개선
댓글 pin에 누가 피드백을 남겼는지 쉽게 확인할 수 있도록 아바타를 추가하고, hover시 댓글 프리뷰 제공
여러 댓글이 모여 있으면 캔버스를 과하게 차지하지 않게 그룹화
