드러나지 않는 사회적 편견 탐지

솔직한 답변 유도하기

리스트 무작위화 (List randomization) 기법은 사회적 바람직성 편향(social desirability bias)의 영향을 받는 경우, 차별에 대한 보다 정확한 응답을 이끌어내기 위해 사용되는 방법입니다. 이 기법은 특정 개인의 편견이나 차별적 태도를 직접적으로 측정할 수는 없지만, 전체 집단에서의 차별 정도를 추정하는 데 유용합니다. 이는 전통적인 설문 조사 방법과 달리 응답자의 익명성을 보장하면서도 논란의 여지가 있는 태도나 행동에 대한 보다 솔직한 답변을 유도합니다.

리스트 무작위화는 응답자들에게 N개의 일반적이고 논란의 여지가 없는 진술(예: "나는 오늘 아침에 커피를 마셨다", "나는 팝콘을 좋아한다")을 제공하고, 무작위로 선택된 응답자 그룹에게는 추가로 논란이 될 만한 진술(예: "나는 흑인 가족이 옆집으로 이사 오는 것이 불편하다")을 포함한 N+1개의 진술을 제시합니다. 응답자는 각 진술에 대해 '그렇다' 또는 '아니다'라고 개별적으로 답하지 않고, 동의하는 진술의 개수만을 보고합니다. 두 그룹(N 진술과 N+1 진술)에 대해 응답 데이터를 비교하면, 추가된 논란적 진술에 대한 응답률 차이를 통해 집단의 차별 정도를 추정할 수 있습니다. 이 기법은 개별 응답자의 구체적인 태도를 밝히지 않기 때문에 익명성을 보장하고, 따라서 응답자는 사회적 비난에 대한 두려움 없이 보다 솔직하게 답할 가능성이 높아집니다.

리스트 무작위화 기법은 Kuklinski et al.(1997)의 연구를 통해 처음 주목받았습니다. 이 연구는 미국 남부 지역에서 흑인에 대한 인종 편견을 측정했으며, 직접적인 질문 방식보다 리스트 무작위화 기법을 통해 훨씬 높은 수준의 인종 차별을 발견했습니다. 예를 들어, 직접 질문에서는 흑인 가족과 이웃이 되는 것에 불편함을 느끼는 비율이 낮게 나타났지만, 리스트 무작위화를 통해 이 수치가 유의미하게 증가했습니다. Coffman et al.(2013) 또한 리스트 무작위화 기법을 통해 성소수자에 대한 차별을 조사하며 흥미로운 결과를 얻었습니다. 일반적인 설문 응답에서 직장 내 공개적인 게이 관리자를 반대하는 비율은 낮았지만, 리스트 무작위화 방식에서는 67% 더 높은 비율로 반대가 드러났습니다.

리스트 무작위화는 대통령 후보에 대한 태도를 측정하는 데도 사용되었습니다. Kane et al.(2004)은 유대인 대통령 후보(조 리버만)에 대한 차별이 거의 없음을 발견했습니다. 반면, Streb et al.(2008)은 여성 대통령 후보에 대한 부정적인 태도가 기존 여론조사 결과보다 리스트 무작위화를 통해 훨씬 더 높게 나타났습니다. 이 결과는 리스트 무작위화가 직접적인 질문 방식으로는 드러나지 않는 사회적 편견을 탐지하는 데 매우 유용함을 보여줍니다.

리스트 무작위화 기법은 강력한 장점을 가지고 있지만, 몇 가지 한계도 존재합니다. 대표적으로, 비논란적 진술(N)이 너무 단순하거나 명확하면 응답자가 그 진술에 모두 동의하거나 모두 반대하는 경우가 많아져 데이터의 변별력이 감소합니다. 반대로, 비논란적 진술이 모호하면 응답자가 논란적 진술에 대해 솔직하게 응답할 가능성이 높아질 수 있습니다. 또한, 리스트 무작위화 기법은 개별 수준의 차별 태도를 측정할 수 없으며, 집단 차원의 평균적인 결과만 제공합니다. 따라서 데이터가 다소 불확실하거나 분석력이 낮아질 가능성이 있습니다. 예를 들어, 두 그룹 간의 차이가 작을 경우, 차별의 존재 여부를 명확히 판단하기 어려울 수 있습니다. Gosen(2014)의 연구에 따르면, 비논란적 진술의 수가 결과에 체계적으로 영향을 미칠 수 있다고 합니다. 하지만 Tsuchiya et al.(2007)의 연구에서는 정반대의 결과가 나왔기 때문에, 이 기법이 설계에 따라 다르게 작동할 가능성을 고려해야 합니다. 마지막으로, 리스트 무작위화는 응답자의 개별적인 의견을 알 수 없도록 설계되어 있지만, 결과적으로 일부 응답자에게 논란적 진술을 포함하는 문항을 제공하는 점에서 연구 윤리에 대한 논의가 필요합니다.

이처럼 리스트 무작위화 기법은 사회적 바람직성 편향을 줄이고, 차별 정도를 정확히 측정할 수 있는 유용한 도구로 평가받고 있습니다. 하지만 데이터의 정밀도와 실험 설계의 복잡성, 개별 편향의 불확실성 등의 한계를 극복하기 위한 추가 연구가 필요합니다. 특히, IAT나 Goldberg 실험과 같은 다른 간접 측정 방법과 비교하여 이 기법의 장단점을 분석하고, 이를 통해 차별 측정의 효율성을 더욱 개선할 여지가 많습니다. 궁극적으로, 리스트 무작위화는 사회적 편견에 대한 집단적 이해를 높이고, 차별에 기반한 정책 결정을 개선하는 데 중요한 기여를 할 수 있을 것으로 기대됩니다.

Source: Handbook of Economic Field Experiments – Chapter 8. Field Experiments on Discrimination by Bertrand Marrianne and Duflo Ester