질적연구의 신뢰도를 높이기 위한 방법.
참여자확인, 동료검토, 감사추적
질적 연구에서는 연구의 분석적 신뢰도 및 타당도를 높이기 위해선 어떤 검증과정을 거쳐야 할까? 연구에서 타당도검증은 연구의 결과가 과학적인 증거인가 아닌가를 판가름하는 너무나도 중요한 과정이다. 따라서 데이터를 분석하기 전에 타당도를 검증하기위한 작업은 필수이며, 과학적 신뢰도를 높이기 위한 핵심과정이라 할 수 있다. 양적 연구에서는 결과의 신뢰도 검증을 위해 통계프로그램 (SPSS) 안에서 할 수 있는 내/외적 타당도 검사를 하며, 검증법에 대한 개념 또한 체계화되어 널리 사용되고 있다. 그와 동시에 질적연구 논문들도 증가함에 따라 당연히 이를 검증하는 방법 또한 존재한다. 대표적으로 질적연구의 신뢰도를 높이기 위한 검증법은 참여자검토 (Member checking), 동료검토 (Peer deberiefing), 그리고 감사추적 (Audit trail) 등이 있다. 질적 연구자라면 알아야 할 핵심 세 가지의 타당도 검증법에 대해 알아보자.
첫 번째로 참여자확인은 연구자가 참여자의 생각과 의미를 올바로 반영했는지 인터뷰 전사자료, 관찰자료 및 초기 원자료분석의 정확성 등을 연구 참여자로 하여금 재확인하게끔 하는 것이다 (Lincoln & Guba, 1985). 즉 연구자의 해석이 참여자가 말한 의도나 관점 등이 반영되었는지 파악하는 것이라고 볼 수 있다. 참여자 확인은 많은 질적연구자들에 의해 필수적으로 활용되고 있으며 (특히 참여자의 관점을 이해하기 위한 연구라면) 이에 따라 참여자의 의도가 연구자의 해석에 의해 훼손되는 것을 방지한다. 따라서 결과의 전체적인 신빙성이 향상된다. 하지만 참여자확인시 주의할 점은 참여자 확인만으로 연구의 신빙성을 높이는 것은 제한적인 효과가 분명 존재한다. Morse et al (2002)에 따르면 연구결과는 객관성을 확보하기 위해 개인의 관점으로부터 탈맥락화되어 종합되기 때문이라고 말하고 있다. 더불어 연구 참여자에게 그들의 영역이 아닌 연구영역의 결과물을 면밀히 검토하는 것은 어려운 일이기 때문이다. 그리고 참여자확인은 연구자가 결과 분석을 완료한 후에 실행하는 사후검증(post-hoc test) 으로써 쓰이기보다는, 분석과정 중에 지속적으로 연구 참여자의 피드백을 받는 것이 타당하다.
연구 참여자에게 그들의 영역이 아닌 연구영역의 결과물을 면밀히 검토하는 것은 어려운 일이기 때문이다.두 번째로 동료검토란 연구자가 자료분석을 보다 객관적으로 시행하고 연구자가 가진 가정 (Hyphothesis)의 타당성을 위한 동료들의 질문과 비판에 의한 검증과정이다 (Patton, 2015). 이 과정은 같은 결과를 다양한 관점으로 들여다보고, 검증할 수 있는 신뢰할 만한 연구자들로 이루어져야 한다. 동료들은 연구자의 연구 맥락과 결과에 대해 충분한 시간을 두고 이해하여야 한다 (Costa & Kallick, 1993). 하지만 주의할 점은, 단순히 동료가 확인한 사실만으로 검증이 이루어지고 연구의 신빙성이 높아지는 것이 아니라, 동료들의 살아있는 비판으로 인해 연구자는 관점을 고수하거나 철회하는 과정을 거쳤다는 것을 의미한다 (나장함, 2017). 따라서 동료검토 또한 사후검증이 아닌 연구를 수행과정에서 지속적으로 이루어져야 하며, 동료 선정의 중요성 또한 중요하다. 해당 연구의 경험이 풍부한 동료에게 검증을 받는 것은, 연구자가 자신의 연구목적 및 이론적 함의를 더욱 탄탄히 할 수 있음을 의미하기 때문이다.
마지막으로 감사 추적은 질적연구에서 Lincoln과 Guba(1985)에 의해 제시되었고, 이는 연구의 질을 더욱 높이기 위해 해당 연구분야와 관계없는 외부 전문가의 평가라고 할 수 있다. 소위 말해 장기를 둘 때도 훈수 두는 사람이 수를 더 잘 보는 법이라는 말이 있듯이, 감사추적 또한 연구오류 (study bias)를 최대한 줄이기 위해서 질적연구방법에 대한 지식은 있으면서 전혀 다른 연구분야의 전문가를 초빙하여 연구를 검증하는 방법이라 할 수 있다. 주로 이 검증과정은 사후검증으로써 목적을 가지고 있으며 전반적인 연구의 질에 대한 최종평가 과정이라고 할 수 있다 (Patton, 2015). 연구자가 주의할 점은 연구의 전반적인 수행과정을 면밀히 기록 (동료검토 자료 포함) 해야 한다는 것이다. 따라서 외부평가자는 연구자의 연구 경로를 따라감으로써 연구자가 선택한 이론적 방법과 분석과정의 당위성을 파악할 수 있다.
결과적으로 참여자확인, 동료검토, 그리고 감사추적을 통해 질적연구의 신뢰도 (Trustworthiness)를 향상 시킨다. 위와 같은 타당성검증은 연구의 정확도와 진실성을 확보하여, 과학적 신뢰도를 높인다. 양적연구와 더불어 질적연구 역시 결과의 타당성을 위한 검증작업은 필수이며 더군다나 연구자의 주관적 견해가 과도하게 반영될 여지가 비교적 큰 질적연구에서는 단순히 절차적 의미로서의 검증이 아닌, 충분한 시간을 할애하여 접근해야 할 과제임이 분명하다. 무엇보다 질적연구가 과학적인 논리와 객관성을 확보하기 위해 양적연구와 함께 양립하기 위해서는 질적연구가 과학적 논리를 품을 수 있는지에 대한 방법론에 대한 끊임없는 의심과 과학적 연구로써의 타당성을 높이기 위한 지속적인 논증 과정이 필요할 것이다.
*본 글은 나장함 (2017) 의 <교과교육 분야 질적연구의 타당도 확보 기법에 대한 고찰-참여자 확인, 동료검토, 감사추적을 중심으로를 요약하여 작성하였습니다.
참고 자료
1.
2.
3.
4.
5.
