brunch

매거진 UX Writing 연구

라이킷 21 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by UX Writing Lab Feb 20. 2021

쉬운 언어 가이드라인 8

가설 테스트하기

미국 연방 정부에서 배포한 쉬운 언어 가이드라인이다. 콘텐츠 제작자, UX 라이터가 쉬운, 독자 중심의 글을 쓰는 교과서같은 내용인지라 차례대로 번역해서 올린다.

미국 연방 쉬운 언어 가이드라인(Federal Plain Language Guidelines)

8. 가설 테스트하기(현재글)

- 패러프레이즈 테스트

- 사용성 테스트

- 통제 비교 연구

가설 테스트하기

테스트는 라이팅의 필수 과정이 되어야 한다. 많은 사람이 보는 콘텐츠라면 더욱 그렇다. 콘텐츠가 사용자에게 정확히 전달되면 고객 문의에 들이는 시간을 줄일 수 있다.

웹사이트, 브로셔, 비디오, 소셜 미디어, 공공 기관, 인쇄물 모두 테스트하자.

테스트 시기

웹사이트나 문서가 프로그램으로 작동할 때까지 기다리지 말고 테스트할 만한 양이 되면 바로 하자. 워드나 파워포인트를 이용해서도 테스트할 수 있다; 규모가 커도 할 수 있다. 기존의 웹사이트나 문서도 테스트할 수 있다.

가급적 프로젝트 초반에 하자. 피드백을 바탕으로 테스트하고 교정하고, 다시 테스트하자. 최소 2번은 테스트 계획을 잡자. 테스트, 수정, 재테스트를 "iteration"이라고 한다. iteration을 해야 사용성 테스트를 효율적으로 할 수 있다.

살펴볼 테스트 종류

패러프레이즈 테스트:

개인 인터뷰. 짧은 문서, 짧은 웹 페이지, 서베이 질문을 테스트하기 좋다.

사용성 테스트:

개인 인터뷰. 어디에 적합한 정보가 있는지를 찾아야 하는 긴 문서나 웹 사이트에 적합하다; 양식에도 좋다. usability.gov를 참고하자.

통제 비교 연구:

사용자를 만나지 않고 통계로 결과를 취합하는 대규모 연구; 작은 규모로 패러프레이즈 테스트와 사용성 테스트를 한 후에 하자.

포커스 그룹은 사람들이 정보를 어떻게 구하는지, 잘 이해했는지를 알아내기 보다 그들의 성향과 기대를 파악하는 그룹 토의다. 그러니 이 기법은 글을 테스트하기에 좋은 방법이라기 보다는 글을 쓰기 전 고객을 이해하는 데에 적합하다.

1. 패러프레이즈 테스트

짧은 문서, 웹 페이지, 서베이 질문에 적합한 일대일 테스트

글의 의미를 물어서 당신이 의도한 대로 뜻이 잘 전달되는지를 확인한다.

6~9 명을 인터뷰하라

특정 지점(cue)까지 참가자더러 읽어 보라고 한다. cue에 도달하면 그 부분이 어떤 뜻인지 자신의 언어로 말해달라고 한다. 참가자의 언어를 받아 적는다. 말을 교정해줄 필요는 없다. 추후 노트를 리뷰하면서 참가자가 오해한 부분이 있다면 그 부분을 수정하자.

추가로 열린 질문을 하자

이 문서를 가진다면 당신은 무엇을 하겠습니까?

작가는 이 문서로 무엇을 의도한다고 생각하십니까?

혹 이 문서를 가진 다른 사람을 떠올려 보십시오: 이 문서의 어떤 부분이 그들에게 잘 작동할까요? 이 문서의 어떤 부분이 그들에게 문제가 될까요?

마지막 질문이 중요하다. 사람들은 자신이 이해를 못하는 부분보다 다른 사람이 헷갈려 할 만한 부분을 지적할 때 더 편안해 하기 때문이다.

네 아니오 질문을 피하자

이런 형태의 질문으로는 유용한 정보를 얻지 못한다. 6~9 명으로 패러프레이즈 테스트하는 데는 시간이 그리 걸리지 않는다. 테스트를 통해 얻는 것은 나중에 잘못된 문서를 제대로 고치느라 들 수백 시간을 아껴준다.

문서가 길어지면 사용성 테스트가 필요하다. 사용성 테스트는 책자, 법규, 웹사이트에 적합하다. 사용성 테스트는 개별 문서가 아닌 전체 문서를 테스트한다.

예시

Veterans Benefits Administration의 패러프레이즈 테스트

정보가 너무 포괄적이라 고객 전화량이 늘어날 것 같다:

Veterans Benefits Administration은 사용자가 다 이해할 것이라 짐작한 편지글을 테스트했다. 하지만 사람들은 이 편지를 받았을 때 VBA의 무료 번호로 전화를 걸 것이라고 답했다.

이 편지의 원래 내용은 수표의 기한이 다 되면 대체할 수표를 보낸다는 것이었다. "곧 새로운 수표를 보내드립니다." 독자들은 편지와 동시에 수표를 받지 못한다면 전화를 걸 것이라고 답했다. 글에 수표를 받게 될 정확한 날짜를 명기함으로써 수많은 전화 문의를 줄일 수 있었다.

참전 용사(veterans)라면 이해할 것이라고 생각한 전문 용어가 예상치 않은 행동으로 이끌었다.

독자들 중 몇은 "service-connected disability"라는 용어를 헷갈려했다. VBA에게 이 용어는 군 복무 시절로 거슬러 올라가는 장애를 가진 참전 군인을 의미한다. 패러프레이즈 테스트에서 한 참전 군인은 업무 중 발생한 장애라고 생각했다. 다른 사람은 군 시절 발생한 상해로 꼭 업무 중일 필요는 없다고 생각했다. 어떤 사람은 전투 중에 얻은 장애로 생각했다.

이 편지를 이해했냐고 전반적인 질문을 던질 때 사람들은 그렇다고 했다. 하지만 "service-connected"라는 의미를 모두 다른 정의로 이해하고 있었기 때문에 VBA가 의도하지 않은 행동을 할 가능성이 있었다. 이 문제를 해결하기 위해 VBA는 모두가 같은 정의를 떠올릴 수 있도록 이 문구에 설명을 덧붙였다.

법적 요건을 갖추기 위해 추가한 단어가 독자에게 잘못된 정보를 줄 가능성이 있었다:

"(돈벌이가 되는) 마지막 직장은 언제입니까?" 라는 질문이 양식에 들어가 있었다. 사람들은 "돈벌이가 되는 직장"이 그냥 "직장"보다 더 법적으로 정확하다고 생각했다.

테스트 결과 "돈벌이가 되는" 직장을 다음 3가지로 파악했다:

모든 일자리

복지나 저축이 가능할 정도의 임금을 제공하는 일자리

극빈자의 수준을 모면하게 하는 일자리

사실 정부 기관마다 "돈벌이"를 다르게 정의한다. 더욱 중요한 것은 독자들도 모두 이 용어를 다르게 이해한다는 것이다. 아마 정부 기관은 덜 정확한 정보를 얻게 될 것이다. 테스트의 목표는 독자들이 문서를 정확히 이해해서 전화 문의를 줄이는 것이다. 이 기법은 매우 유용하지만 소규모의 참가자에게서는 충분한 결과를 얻어내지 못할 수도 있다.

2. 사용성 테스트

참가자들이 정보를 잘 찾고 이해하는지를 확인하는 일대일 사용성 테스트.

언제 하는가

시안이 나오면 언제든 가능하다. 첫 회의 테스트로 수정을 한 후에 문제가 잘 해결되었는지, 다른 문제를 불러 오지는 않았는지를 확인하기 위해 두 번째 테스트로 넘어간다.

누구를 테스트하는가

3명을 찾아야 한다.

먼저 타겟 독자를 정의하라. 예를 들면 의학 정보를 찾는 일반인; 양식을 찾는 납세자나 세금 전문가; 여권을 만드는 여행자.

타겟을 설명하는 간단한 기준을 만들자. 예를 들어 여행자라면: 여권을 만들어 본 적이 없거나 갱신하지 않은 미국 성인 시민. 기준이 복잡할 필요는 없다.

지인 네트워크를 동원해서 이 기준을 충족하는 세 사람 정도를 구하자. 같은 팀 사람은 안되지만 다른 팀 사람은 괜찮다.

세 명 정도를 테스트하는데 아마 별도의 허가는 필요 없을 것이다. 하루 아침을 비워두고 한 사람당 한 시간 정도씩 분할하면 되니 말이다.

세션 개요

소개

참가자를 편안하게 하자. 앞으로 어떤 일이 일어날 지를 설명하고 관련된 경험을 파악하는 몇 가지 질문을 던지자.

시나리오

참가자에게 간단한 이야기를 전한다. 특정한 정보를 요청할 것이고 이들이 정보를 찾는 동안 당신이 보고 들을 것이라는 점, 그리고 그들이 이해하는 바를 말해달라는 것. FAA 사이트에 대한 시나리오를 예로 들어 보면:

당신은 사설 비행기 자격증을 따고 새로운 지역으로 이사왔습니다. 새로운 주소를 FAA 사이트에 알려야 하는지 알아보세요. 만약 알려야 한다면 어떻게 하는지 찾아보세요.

참가자들 각자의 시나리오를 물어볼 수도 있다. 무엇을 찾으러 이 웹 사이트에 들어올 것 같은가? 그리고는 그 정보를 어떻게 찾고 이해하는지를 보고 듣는다.

보통 사람들이 무엇을 찾는지, 그리고 그것을 어떻게 이해하는지 당신이 말을 들을 수 있도록 "think aloud"를 요청한다.

디브리핑

끝나면서 테스트 경험과 관련한 중립적인 질문, 그리고 특정한 단어나 문구에 대한 후속 질문을 던진다.

테스트 변수

두 사람이 함께 참가할 때. 이들의 대화가 자체로 think aloud가 된다.

동시에 여러 사람이 개별적으로 테스트한 후 그룹 토의로 이어질 때. 이 때 사용성 테스트는 속도를 내도 좋다. 하지만 각각의 참가자를 보고 들으며 기록하는 여러 명의 보조 진행자들이 있어야 한다.

비교 사용성 테스트: 여러 문서 버전을 테스트할 수도 있다. 참가자 규모가 작으니 각각의 참가자가 두 개의 버전을 같이 하면 좋다. 시작 버전은 번갈아 달리 하자.

진행자가 있는 원격 사용성 테스트. 참가자와 같은 자리에 있지 않아도 사용성 테스트를 할 수 있다.

진행자가 없는 원격 사용성 테스트. 원격 테스트 도구로 대규모의 참가자를 테스트한다.

예시

국립 암 연구소의 사용성 테스트

정보는 좋으나 제목이 사람들을 혼동시킨다.

국립 암 연구소에서 피부암 예방에 대한 브로셔를 테스트했다. 이들은 정보, 제목, 이미지가 제대로 전달되는지 확인하고 싶었다. 가장 중요한 메시지 중 하나는 피부색이 어두운 사람들도 피부암에 걸린다는 것이다. 사람들은 이 정보를 이해하기는 했지만 “People of Color Get Skin Cancer, Too,”라는 제목에서 "People of Color"를 아프리카계 미국인이라고 생각했다.

팀은 사용성 테스트로 도출된 다른 수정 사항과 함께 제목을 “Anyone Can Get Skin Cancer”로 바꾸고 다시 테스트했다. 사람들에게 다시 물었을 때 모두가 제대로 정보를 인지했다. 더욱 중요하게는 이 정보가 "자신을 위한 것"이라고 말했다.

이 팀은 플레인 랭귀지 전문가와 의학 전문가를 팀에 포함시켰다. 이 사례는 세 가지를 보여준다:

플레인 랭귀지 전문가는 그들의 작업을 테스트한다.

아주 작은 변화가 프로젝트 성공을 이끌 수 있다.

테스트 후 재테스트가 매우 중요하다. 수정에 대한 팀의 결정이 유효한지, 또는 다른 결정을 내려야 할 지를 알려준다.

3. 통제 비교 연구

통제 비교 연구(A/B 테스트나 스플릿 테스트라고 흔히 불리는)는 몇 가지 방식으로 수행할 수 있으나 공통점이 있다. 대중이 당신의 콘텐츠를 얼마나 잘 사용하는지 정량적인 데이터를 준다는 것이다.

통제 비교 연구를 하기 전에 먼저 패러프레이즈 테스트나 사용성 테스트를 꼭 해서 이를 바탕으로 글을 먼저 다듬어야 한다는 것이다. 통제 비교 연구(특히 종이 문서에서)는 마지막 단계에 이르렀을 때 적합하다. 왜냐하면 통제 연구는 콘텐츠가 잘 작동하는지는 보여주지만 왜 그런지는 설명하지 못하기 때문이다.