심리검사, 누구를 떠올리며 응답하십니까?

참조집단효과의 가능성

한국 사회는 정말 저신뢰 사회가 맞을까?     

 석사 시절에 가장 마지막으로 썼던 논문의 주제다. 비록 내가 1저자이긴 했지만 연구실 내 존경하는 교수님 두 분께서 공동 저자로 참여하셨고 많은 도움을 주셔서, 실수하지 않고자 바짝 긴장해가며 몰두했던 연구로 기억이 난다. 당시 콘셉트를 좀 더 자세히 소개하자면 다음과 같다.

허용회, 박선웅, 허태균 (2017). 저신뢰 사회를 만드는 고신뢰 기대? 가족확장성과 신뢰기준의 역할. 한국심리학회지: 문화 및 사회문제, 23(1), 75-96.

한국 사회는 대체로 다른 나라 대비 저신뢰 사회로 평가받고 있다. 구체적으로, 국회, 검찰, 사법부, 정치인, 잘 모르는 타인 등에 대한 신뢰 점수가 다른 나라 대비 낮다는 통계 결과가 많다. 하지만 여기에는 각 나라(문화)마다 가진 ‘신뢰 기준’의 차이가 고려되지 않았을 가능성이 크다. 만약 한국인들이 다른 나라 사람들에 비해 사회 전반에 보다 높은 신뢰 ‘기준’을 요구하고 있다면, 당연히 그 신뢰 기준을 충족하는 건 어려운 일이 될 것이며, 따라서 결과인 신뢰 점수가 낮게 보고될 가능성이 있다는 것이다.

 이때 등장했던 핵심 개념이 바로 참조집단효과(reference group effect)(Heine, Lehman, Peng, & Greenholtz, 2002)였다. 참조집단효과란 비교문화 연구에서 등장한 개념으로 주관적 생각을 묻는 리커트 문항에 대한 응답 결과가 응답자의 소속 문화에 따라 달라질 수 있다는 내용이다. 가령 동일한 문항에 대해서도 한국인은 한국인을 참조 집단으로 삼아 응답할 것이며, 미국인은 미국인들을 참고 집단으로 삼아 응답하려 할 것이다. 이렇게 서로 ‘기준’이 다르기 때문에 비록 동일 문항(위 연구에서는 ‘신뢰’에 대한 질문)이라 하더라도 점수에 대한 직접 비교가 어려우며, 때문에 정확한 비교를 위해서는 신뢰 ‘기준’의 차이를 고려해볼 필요가 있다는 것이 참조집단효과 개념을 가져온 우리 연구의 아이디어였다.

나는 다른 사람들에 비해 똑똑한 편이다.

 인성검사에서 다음과 같은 문항이 등장했다고 하자. 여러분은 ‘다른 사람들’이라는 말을 보고 누구를 떠올렸는가? 가족, 친구, 지인, 직장동료, 동호회 사람들, 지역 주민, 같은 세대, 같은 성별, 한국인, 동양인, 인류(?) 등등 각자 처한 맥락에 따라, 떠올리기 쉽고 어려운 정도에 따라(availability heuristic), 혹은 어떤 이유에 의해 각자 떠올린 대상/집단이 다를 것이라 생각된다(물론 꼭 누군가를 떠올렸어야만 하는 것은 아니다. 사람에 따라서는 위 문항에 답변하면서 의식적으로 특정 대상/집단을 떠올리지 않았을 수도 있다)     

 중요한 것은 같은 문항에 대해서도 떠올리는 비교 대상이 사람마다 다르기에, 위 신뢰 연구 사례와 마찬가지로 동일 문항에 대해 같은 응답을 했더라도 직접 비교가 어려울 수 있다는 점이다.

비교 대상에 따라 '똑똑함' 에 대한 주관적 응답이 달라질 수 있다

 이에 관한 흥미로운 연구가 있어서 소개해 보고자 한다. 연구자들은 참조집단효과가 개인차를 측정하는 심리검사에서도 나타나는지 확인하기 위해 관련 연구를 진행하였다(출처: Crede, M., Bashshur, M., & Niehorster, S. (2010). Reference group effects in the measurement of personality and attitudes. Journal of Personality Assessment, 92(5), 390-399). 연구 결과는 다음과 같다.

 일부분만 발췌하였는데, 간략히 소개하면 연구자들은 Big5 중 하나인 성실성(conscientiousness)을 측정하되, 조건에 따라 검사 안내(instruction)를 달리 제공하였다. 아래 그림에서 No1~5까지 총 5개의 비교 조건이 만들어졌으며 각각 1. 참조할 집단 제공하지 않음 2. 가족을 떠올리며 응답하게 안내 3. 동나이대 같은 성별의 사람들을 떠올리며 응답하게 안내 4. 또래 친구들을 떠올리며 응답하게 안내 5. 일반적인 다른 사람들을 떠올리며 응답하게 안내한 경우에 해당한다. 조건에 따른 응답값의 상관분석 결과가 아래 제시되어 있다.

(Crede, Bashshur, & Niehorster, 2010)

 아무런 참조집단을 제시하지 않았을 때(No.1)와 참조집단을 제시했을 때(No.2~5)의 평균(M)이 다르며, 상관계수도 1에 가깝지 않음을 알 수 있다(.4~.6의 상관계수로 보아, 참조집단을 달리하여도 응답 경향성은 비슷하지만, 그렇다고 또 같지는 않은, 그런 결과라 할 수 있을 것이다).

 추가로 알 수 있는 것은 '어떤 참조집단'을 안내했느냐에 따라 평균값이나 No.1과의 상관이 조금씩 달랐다는 점이다. 위에서 보면 No.1과 No.3의 평균은 유사하다. 다만 No.2는 No.1과 평균 차이가 제법 있는 것이 눈에 들어온다. 마찬가지로 No.1과 나머지 간의 상관계수도 각각 .44, .64, .39, .66 으로 서로 같지 않다.

(Crede, Bashshur, & Niehorster, 2010)

 이번 표는 기준 관련 타당도가 참조집단에 따라 어떻게 달라지는지를 본 것이다(참고로 해당 연구에서는 기준 관련 타당도를 보기 위해 성실성 측정 과정에서 미루기, 건강 관련 행동에 관한 설문이 같이 이뤄졌다. 한 가지 주의해야 할 것은, 미루기(Procrastination)의 경우, 응답 점수가 높을수록 미루는 정도가 낮다고 해석해야 한다는 점이다). 먼저 아무 참조집단이 제시되지 않은 'No Reference Group' 집단을 보면(위 그림에서 동그라미 친 부분) 1) 성실성 정도가 강할수록 미루기를 덜 한다는 점, 2) 건강 관련 행동들 중 일부는 성실성과 관련이 덜하고(prevention health, accident control), 3) 건강 관련 행동들 중 일부는 성실성과 부적 관련이 존재한다는 점이 보인다(traffic risk, substance risk).

 이제 네모 친 부분을 보자. 순서대로 가족 / 동나이 동일성별 / 또래집단 / 일반 사람들을 떠올리며 응답하도록 유도한 경우의 결과들이다. 'No Reference Group' 집단의 결과와 대략적으로 비교해보면 1) 전체적인 방향성은 같아 보인다(성실성과 미루기가 반대 관계라는 것, 성실성과 건강 관련 행동이 정적 관계라는 것). 2) 그러나 '상관계수의 크기'는 조건에 따라 조금씩 다름을 알 수 있다. 가령 미루기의 경우, 'No Reference Group'과의 상관이 가장 크며 나머지 참조집단 조건에서는 조금씩 그 수치가 낮음을 알 수 있다.

 위 결과는 해당 논문 내용의 일부분일 뿐이다. 하지만 전체적으로 종합해보면 1) 성격검사에서도 참조집단효과가 존재한다는 것을 보였다. 2) 그러나 참조집단을 명시적으로 안내하는 조치가(가족/친구/다른 일반 사람들/또래 등을 떠올리며~~~) 검사 타당도 확보에는 별 도움이 되지 않는 것 같다. 로 정리 가능할 듯하다.

---

 성격검사를 다루다 보면 실제로 참조집단이 명시된 검사를 종종 보게 된다. 검사를 시작하면서 상단에 '~를 떠올리며 응답'하라거나, '~~~와 비교하여 나는~~' 등의 문장으로 검사 문항이 시작된다거나 하는 경우들이다. 하지만 위에서 살폈듯, 참조집단효과를 고려한 의식적 조치에는 장단점이 있다.

 응시자들이 중구난방으로 떠올릴 수 있는 비교대상을 하나로 정리해준다는 점에서는 장점이지만, 그렇다고 완전히 통제할 수는 없다는 점은 여전히 단점으로 남는다. 가령 '가족'으로 제한된다 하더라도 개개인의 가족에 대한 인식, 느낌은 다를 수 있는 관계로, 여전히 비교 준거가 동일하다고 말할 수는 없을 것이다(또한 위 논문에서 살폈듯 참조집단의 명시적 제시는 타당도를 오히려 저해하는 결과를 가져올 수도 있다).

 깔끔하지 않은 결론이지만, 어쨌든 문항을 만들고 검사를 만들 때는 이러한 참조집단효과에 대한 고민도 필요할 듯하다.