[MD 역량강화프로젝트 3] 통계, 숫자 그리고 방법론
마켓디자이너스의 크루 역량 강화를 위한 3회 차 교육 프로그램이 지난 12월 20일 목요일, 서울역 위워크에서 진행되었습니다. 2회 차 교육 ‘전략적/가설 사고’와 같이 강의에 참가한 크루들은 필수적으로 ‘심리학 및 사회과학을 위한 조사와 통계분석’이라는 책으로 미리 예습하고, 목차의 각 장마다 2명씩 PPT자료를 만들어 발표했습니다.
https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=30668433
현재 마켓디자이너스의 CMO로 계신 김연정(섀넌)님께서 강의를 맡아 주셨으며, 총 4시간의 교육이 진행되었습니다. 1시간은 신규사업팀의 김승욱(CK)님께서 책 전체 내용을 적용한 구체적인 예시를 발표해주셨습니다. 통계분석의 방법론을 얼마나 현실적으로 체감할 수 있는지 알기 쉽게 개념 정리할 수 있는 시간이었습니다. 후에 섀넌 님께서 조사와 통계분석이 무엇인지, 우리가 왜 그것을 알아야 하는지를 이어 설명해주셨습니다.
신규사업팀 김승욱(CK)님의 발표지난 강의에서 ‘현상에서 문제를 발견, 정의하고 타당한 방법을 찾아 해결하는 것’을 배울 수 있었다면,
이번 조사와 통계분석 수업에서는 ‘정의한 문제를 어떻게 검증할 것인가’를 배울 수 있었습니다.
“왜?”라는 질문에 검증을 통해 가설을 세워 효과적인 대답할 줄 알게 되는 것, 대행사의 보고 속 숫자와 말에 숨겨진 진위여부를 스스로 검증할 수 있게 되는 것이 이번 강의의 궁극적인 목표라고 섀넌 님께서 설명해주셨습니다. 무엇보다 방법론의 공식보단 논리를 이해하고 체득해야 함을 강조하셨습니다.
[가설 검증:조작적 정의와 통제 변수의 통제]
강의를 관통하는 물음은 ‘무엇’을 ‘어떻게’ ‘검증’할 것인가입니다.
이를 위해선, 현상에서 요인을 파악해 연역적으로 가설을 세우고 하나씩 분석하며 지워가는 과정을 거쳐 문제의 원인을 파악해야 합니다. 또한, 신뢰 있는 검증 결과를 얻기 위해서는 타당한 방법론을 설계해야 하고, 타당한 방법론은 논리적인 오류 없는 가설 수립에서부터 시작됩니다. 논리적인 가설 수립은 조작적 정의와 변수의 통제로부터 만들어집니다.
결국, 이러한 메커니즘의 근간은 조작적 정의와 변수의 통제라고 할 수 있습니다.
그렇기에 개별적인 방법론적 설명에 들어가기 앞서 섀넌 님의 지도하에 주어진 연구 문제를 통해 검증 가설을 세우고, 종속변수와 독립변수, 통제 변수를 설정하는 실습을 진행했습니다.
검증가설 세우기 실습첫 번째 실습 문제로는 ‘국어를 잘하면 영어를 잘할까?’라는 질문이 주어졌습니다. 주어진 연구 문제를 가지고 이를 검증하기 위한 검증 가설, 종속변수와 독립변수, 통제 변수를 직접 설정하고 발표하는 시간을 갖었습니다. 두 번째로는 마켓 디자이너스와 관련된 비즈니스적인 연구 문제가 주어졌습니다. ‘앱스토어 리뷰가 매출에 영향을 미칠까?’라는 문제는 조작적 정의로 구체화시키는 데 있어서 어려움을 느꼈으나 다양한 크루들의 발표를 토대로 앱스토어 질(높은 별점)과 양(다수의 리뷰)으로 나누어 구체적인 조작적 정의를 통해 검증 가설을 세울 수 있었습니다.
어렵게만 느껴졌던 개념들을 현실적인 연구 문제로 적용해 풀어가니, 직접 고민하는 과정에서 저만의 방식으로 풀어가는 법을 배울 수 있었습니다. 또한, 비즈니스적으로도 활용할 수 있다는 자신감이 생겨 더욱 유익한 시간이었습니다. 이어서, ‘조사와 통계분석’ 책의 각 장을 요약정리한 마켓 디자이너스 크루들의 발표가 이어졌습니다.
실습을 마치고 본격적으로 교재의 내용을 발표하고 의견을 나누는 시간을 가졌습니다. 각 장에서는 다양한 연구에 있어 필수적으로 알아야 하는 개념들과 개별적인 연구법들에 대해 설명해주셨습니다.
1장 사회과학 연구의 본질
사회과학의 본질이란 철학과 심리학의 차이에서 찾아볼 수 있습니다. 철학이 인간의 근간이나, 사상에 대해 관념적으로 논한다면 심리학은 이러한 현상들을 숫자 화하여 객관적인 데이터로 설명하는 학문입니다.
이처럼, 사회과학이란 사회의 현상을 이해하고 설명하는 최선의 방법이라고 할 수 있습니다.
사회과학의 기본 목표는 이론을 설정하고 일반화하는 것입니다. 이론이란 어떤 현상에 대해 체계적인 견해를 제시하는 것입니다. 일반화란 그 이론을 반복적인 검증절차를 걸쳐 어떤 문제를 정의하거나 해결하는데 적용 가능한지 불가능한지를 판단하는 것을 말합니다.
2장 사회과학 연구의 요소
사회과학 연구의 요소는 크게 연구주제의 선정, 가설 설정, 데이터 수집/분석, 결과 해석/보고서 작성으로 나누어집니다. 이는 가설을 수립하고 정책 하는 과정입니다.
연구 주제의 선정에 있어선 독창성과 객관성을 유지하는 것이 제일 중요합니다. 또한, 학문적/사회적 가치가 있어야 하며 검증이 가능해야 하고 항상 참/거짓으로 나뉘는 절대 명제여서는 안됩니다. 윤리적 문제도 고려되어야 합니다.
가설 설정은 이론의 조작적 정의(개념의 변인 전환)와 변인의 관계 진술(가설 수립)을 통해서 이루어집니다. 여기서 변인이라 함은, 측정 가능한 어떤 것을 말합니다. 흔히 구성 개념에 대한 정의를 ‘구성적 정의’라 부르고, 이를 관찰 가능하고 측정 가능한 상태로 정의하는 것을 조작적 정의라고 부릅니다. 즉, 조작적 정의를 통해 변인을 추출하고 변인의 관계를 진술하는 과정을 가설 설정이라고 할 수 있습니다. 데이터 수집/분석은 연구의 목적에 따라 각기 다른 통계 분석법이 존재합니다.
탐색 연구, 기술 연구, 예측 연구, 설명 연구로 구분이 가능며, 이 단계에서 가장 중요한 것은 ‘정제’의 과정입니다. 분석하는 데이터에 따라 결론이 달라지기 때문에 오염되지 않고 오류 없는 깨끗한 데이터를 정제하여 사용해야 합니다. 결과 해석/보고서 작성은 해석 준거와 보고서 구성으로 나뉩니다. 해석 준거로는 적용 가능성, 예측 가능성, 현실 개선 가능성, 새로운 이론의 가능성이 있으며 보고서의 구성은 학술연구보고서와 조사보고서 두 종류에 따라 다릅니다.
3장 측정과 변인
해당 장에서는 어떻게 가설화하고 측정하는지를 배웠습니다.
측정 수준은 명목 척도, 서열 척도, 등간 척도, 비율 척도로 나뉩니다. 추상적으로 다가오는 개념이기에 섀넌 님께서 준비한 다수의 예시를 통해서 어떻게 구분할 수 있는지 실습하는 시간을 가졌습니다. '이름'의 나열이라면 명목척도, 등급표와 같은 값이 정해져 있지 않은 일정 기준에 따른 범주의 나열이라면 서열척도, 등고선, IQ와 같이 범주로 나뉘는 값이 존재하는 나열이라면 등간척도, 개별의 값이 분명히 존재해 하나씩 나열이 가능할 경우는 비율척도라고 말할 수 있습니다.
이와 같은 측정의 개념을 실습을 통해 내재화한 후 조작적 정의에 대한 부연설명이 이어졌습니다. 방대한 의미를 지닌 개념을 측정개념에 따라 독립적인 단위로 쪼개어 정의하는 과정이야말로 조작적 정의임을 다시 한 번 알려주셨습니다.
4장 서베이 연구법
서베이 연구법의 정의와 장단점, 측정요소 및 유형에 대해 자세히 배울 수 있는 챕터였습니다.
서베이 연구란 표본 추출, 설문지 설계, 얻어낸 데이터를 통계적 절차를 통해 가공/분석하는 조사방법으로 개인 혹은 집단에 대한 정보를 직접적으로 획득하는 과정입니다.
서베이 연구법의 근간이 되는 측정 요소는 사실, 의견, 행동으로 총 세 가지가 존재합니다. 사실이란 성별, 인종, 수입 등 독립적으로 증명될 수 있는 것을 말하며 의견은 정치성향, 정부 정책의 변화 가능성에 대한 기대와 같이 느낌/신념/행동적 의도 등 태도의 측정을 말합니다. 마지막으로 행동은 응답자가 수행한 행위의 결과를 말합니다. 이어 서베이 연구법의 각 유형인 면접조사, 전화조사, 집단 설문조사, 우편조사 총 4가지의 장단점 및 유형별 특징 등을 배울 수 있었습니다. 그중 면접조사의 경우 자사 서비스 인터뷰 광고에도 활용할 수도 있겠다고 생각했습니다.
해당 챕터를 마무리하면서 섀넌께서는 서베이 연구론은 가설을 증명하는 여러 연구방법론 중 하나이며 여기서 중요한 것은 유형에 맞는 측정도구임을 강조하셨습니다.
5장 설문 작성의 원리
설문 작성은 수집 자료의 결정, 설문방법/질문 유형의 결정, 문항 개발/문장 구성, 검토/수정, 사전검사, 편집 및 완성의 순서로 이루어집니다.
설문방법/질문유형의 종류와 문항개발/문장구성의 유의점이어 자세한 예시로 문장의 구성이, 질문의 순서가 어떻게 설문의 의도를 해칠 수 지를 살펴보았습니다. 균형 잡힌 설문의 예시와 함께 폐쇄형/개방형 질문이란 무엇인지 설명해주셨습니다. 질문을 구성하는 데 있어선 단어 하나, 순서 하나가 잘못된 결과를 도출시킬 수 있기에 설문 작성에는 생각보다 상당한 주의를 요한다는 사실을 이를 통해 알 수 있었습니다. 동시에 나 또한, 설문 자료를 보고 보인 그대로 해석하는 오류를 이젠 범하지 않고 작성자의 숨겨진 의도가 무엇인지 나 스스로 판단할 수 있겠다고 느꼈습니다.
6장 표본추출법
조사의 방법에는 전수조사와 표본조사 두 가지가 있으나 전수조사의 경우 현실적으로 집단 내 모든 단위를 조사하는 것은 불가능해, 대부분의 통계조사는 표본조사에 의해 이루어집니다. 표본조사란 전체 모집단에서 일부를 선택한 후, 일부 집단 조사자료를 분석해 전체 집단의 특성을 추정하는 통계조사방법을 말합니다. 처음엔 조사 목표를 설정하고 모집단 설정, 표집 틀과 표집방법 결정, 표본크기 결정, 표본추출, 실시의 과정을 거쳐 계획됩니다. 표본이란 집단을 대표하는 특성을 지닌 원소의 집합으로 표본을 추출한다는 것은 통계의 목적으로 모집단에서 표본을 골라내는 일을 말합니다.
표본 조사의 핵심은 바로 오차가 적은 표본 추출에 있습니다. 표본의 오차가 작으면 모집단을 대표하게 되어 표본조사의 외적 타당도, 즉 객관성이 높아지기 때문입니다. 이 외에도 표본추출과 관련된 다양한 용어들, 표본 크키의 계산법 등을 배웠습니다.
섀넌께선 추출 확률의 무작위성이 신뢰성을 만드는데 중요한 것이기에 '동등한 무작위성'을 명심해야 한다고 덧붙여주셨습니다.
1부 수업을 마무리하며
장장 4시간의 강의를 마무리하면서 섀넌께선 검증을 해서 나오는 숫자의 의미를 아는 것이 중요하며 방법론의 툴과 세부적인 디테일보다는 해당 개념을 통해서 검증을 하는지를 알아야 함을 다시 한번 강조하셨습니다.
지금까지는 문제를 무엇이라고 정의하고 어떻게 신뢰있고 타당한 방법으로 검증이 가능한지를 알아봤다면 교재의 7장부터는 2부에서 실습을 통해 카야제곱, 티테스트 등의 공식들을 이용해 직접 검증하는 시간을 갖기로 했습니다.
다음에는 더욱 실용적인 내용으로 찾아 오겠습니다. ;)
* 본 글은 마켓디자이너스의 마케팅팀 인턴 Emma 방은지님이 작성하셨습니다.
https://brunch.co.kr/magazine/mdstory 마켓디자이너스 매거진 구독해주시면 업데이트 내용을 더욱 빨리 만나실 수 있습니다.
