상담은 비과학이다
상담/임상 필드뿐만 아니라 심리학 연구를 하는 여러 사람들하고 이야기를 하다 보면 간혹 당혹스러울 때가 있다.
연구 경험도 있고 논문도 써본 사람인데 아주 당당하게 자신은 '통계 결과는 별로 믿지 않는다'라고 대놓고 선언하는 경우다. 그 이유를 들어보면 핵심적인 이유는 다음과 같다.
분석할 때마다 다른 결과가 나오는데 이게 믿을 수 있는 거야?
심지어 결과를 유의하게 만들어 낼 수도 있던데?
그러면서 자신은 '논문을 쓰기 위해서 어쩔 수 없이 통계를 공부하긴 했으나 통계 결과는 사실 믿지 않는다'라고 하는데 이에 대한 필자의 생각을 적어본다.
결론부터 적자면 임상/상담 전문가가 통계 결과를 믿지 않겠다는 건 결국 자기 얼굴에 침 뱉기에 가깝다.
사실, 필자의 경우는 그 누구에게도 '심리학이 과학이 맞냐?'는 질문은 받아본 적이 없다(필자의 전공은 '계량심리'다). 오히려 주로 숫자와 수식이 많은 논문을 보거나 책상 앞에 앉아 복잡한 명령문이 짜인 프로그램과 씨름하는 경우가 많아서 '이게 왜 심리학이냐'는 질문을 더 받는다.
하지만, 정작 필자의 주변에 있는 지인들 중 현장에서 상담하는 친구들은 이런 질문들을 종종 받는다.
그래서 이 상담 프로그램이 우리 애한테 효과가 있다는 거죠?
효과가 있는지 어떻게 알 수 있죠? . . . 효과가 있다고 증명되었나요?
-학부모 상담 중-
진심으로 통계를 믿지 못하겠다는 임상/상담 연구자가 있다면 필자는 위와 같은 질문에 어떻게 대답할 것인지부터 묻고 싶다.
CBT든 ACT든 마음챙김이든 효과가 있다고 나타났으니까 사용하는 것 아니겠냐는 건 지극히 당연한 소리다. 그런데 효과가 있다는 걸 '어떻게 확인했냐'는 건 왜 빼고 논하냐는 것이다. 가장 단순하게 보더라도 개입 전후의 우울 수준을 측정하고 사전 사후 비교를 하니 유의하게 감소했다는 연구가 반복적으로 축적되었다는 말을 해야 할 텐데 여기서 통계를 빼면 도대체 어떻게 효과 있음을 주장할 것이냔 말이다.
단언컨대 필자는 심리학을 하면서 의심스러운 연구 관행(의도적으로 유의한 결과를 만들어 내기 위한 기술적 조치 전부 포함)으로 인해 통계 '결과'를 믿지 못한다는 주장에는 동의해도, '통계'로 얻어진 결과물 자체를 믿지 않는다는 발언에는 일절 동의하지 않는다.
따라서 만약 후자에 가까운 뉘앙스를 풍기는 발언을 한다면 그 사람은 심리학자라기보다는 유사 심리학자(일명 사이비)라고 보는 것이 정확할 것이다.
그리고 전공자 입장에서 참 답답한 것 중 하나가 이런 사람들은 묘하게 통계를 분석할 때마다 결과가 조금씩 달라진다는 이유로 통계분석 결과를 '도박'과 다를 바 없는 것 마냥 이야기를 한다. 심지어 그 결과도 어떻게 기술적으로 하느냐에 따라 유의하게 만들 수 있다는 측면을 가지고 '조작'이 가능하다는 점을 빌미 삼아 묘하게 돌려까기도 한다.
근데 전공자 입장에서 말하자면 통계 분석 결과는 '어떤 통계 모형'을 쓰느냐에 따라, '자료를 어떻게 처리'하느냐에 따라, '어떤 통계 프로그램'을 쓰느냐에 따라, '어떤 추정 방법'을 쓰느냐에 따라, 심지어는 '누가'분석하느냐에 따라 결과는 얼마든지 다를 수 있다.
이건 전공자 입장에서 하나도 이상한 것이 아니다.
구조방정식모형이냐 경로모형이냐에 따라 분석 결과가 다른 건 당연하고, 자료 관점에서도 변수의 특성과 표본 특성에 따라 처리하는 방식이 연구자마다 다를 수도 있다. 또한, 통계 프로그램마다 내장된 함수와 수식이 미세하게 다른 경우는 허다해서 결과에서 미세한 차이가 있을 수 있으며, 추정 방법에 따라 달라지는 건 말할 필요도 없다.
그리고 만약 연구자가 빈도 주의 통계를 기반으로 하는 사람이 아니라 애초에 통계 철학적 배경이 다른 베이지안 통계를 기반으로 한다면? '누가' 분석을 하느냐에 따라 결과가 달라지는 것 역시 이상할 것이 하나도 없게 된다.
그렇다면 반대로 한번 생각해 보자.
똑같은 병을 가지고 있는 환자라도 어느 병원, 어느 의사를 찾아가느냐에 따라 어떤 의사는 치료가 가능하다 하고 어떤 의사는 치료가 불가능하다고 할 수 있다. 마찬가지로 상담의 효과도 '누가', '어떤 상담 기법'을 가지고 '얼마의 기간 동안', '어떤 이론적 배경'을 가지고 하느냐에 따라 달라지지 않을까?
상담이 과학적 근거하에 입증된 치료기법을 쓴다고 하더라도 어느 정도의 수련 기간/상담 경험을 가지고 있느냐에 따라, 지향하는 이론적 관점에 따라 동일한 호소문제를 가진 내담자라도 그 치료 효과는 제각기 다르게 나타난다는 사실을 부정하는 상담가는 없을 것이다. 이렇게 치료 효과가 과학적으로 입증된 상담 기법을 사용하더라도 그 결과는 일관적이지 않을 수 있음은 이렇게 아주 작은 사례들만 살펴봐도 알 수 있다.
그럼에도 왜 통계는 항상 누가, 어떻게 분석하더라도 결과가 소수점 하나 틀리지 않고 정확해야 한다고 생각하는 걸까? 정말 안타깝기 그지없다.
물론, 필자도 모든 통계 분석 결과를 다 믿는 것은 아니다. 그리고 애초에 학문은 입증된 여러 연구들이 수십 년간 누적된 결과라 개인의 믿음의 영역도 아니다.
게다가 요즘에는 워낙에 technician들이 많아서 유의하지 않은 연구 결과들도 출판을 위해 유의하게 만들어내는 경우가 많다 보니 통계를 믿지 않는 연구자들을 봐도 어느 정도는 그러려니 한다.
그러나 어느 학문이든 원칙과 연구 윤리는 존재한다. 상담에 있어서 상담 윤리가 있고 치료적 개입에 있어서도 나름의 프로토콜이 있듯이 통계 분석에도 그 순서와 절차뿐만 아니라 자료의 특성과 연구목적에 맞는 최적의 방법도 경우에 따라서는 존재한다.
다시 말해, 병을 치료하기 위해 입증된 최적의 치료법이 있는 것처럼 양적 연구방법론에서도 여러 주어진 조건에 맞는 Standard Practice라는 게 존재한다는 것이다. 그렇기 때문에 본인이 제대로 공부했다면 어떻게 분석하느냐에 따라 분석 결과가 달라진다는 당연한 사실을 가지고 통계 분석 결과를 무작정 불신한다고 할 게 아니라 어떤 분석 방법이 해당 자료 분석에 적합한지, 본인의 가설을 검정하는데 최적의 방법은 무엇인지를 본인 스스로 '확신'할 수 있게 된다는 말이다.
(*Standard Practice는 학계에서 여러 연구자들의 공통된 의견을 바탕으로 consensus가 이뤄진 부분을 의미한다.)
따라서 결과의 변동성만을 가지고 무작정 믿을 게 못된다고 주장할 것이 아니라 어떤 게 타당한 분석방법으로 얻어진 신뢰할 만한 결과인지 걸러내려고 노력하는 것이 먼저이며, 만약 걸러내지 못하다면 제대로 얻어진 결과와 의심스러운 방식으로 얻어진 결과를 분간하지 못하는 본인의 무지함을 탓하는 게 무작정 분석 결과를 믿지 않겠다고 선언하는 것보다 먼저 선행되어야 한다.
매번 느끼는 거지만 자기가 '통계/방법론을 좀 공부해 봤는데 믿을 게 못된다'고 하는 사람들 중에 제대로 공부한 사람은 보지 못했고, 대부분 이런 사람들은 분석을 통해 단순한 결과 도출을 넘어서는 insight는 얻지 못한 경우가 부지기수다.
믿기 힘든 통계 결과에 대해 그 이유를 논리적으로 설명하면 수긍하지 않을 사람은 적어도 이 바닥엔 없다. 그리고 적어도 필자는 어떤 학문이든 '정도正道'가 있다고 믿기에 제대로 공부해 보지 않고 위와 같은 발언으로 타학문을 근거 없이 깎아내리는 발언은 심각한 문제가 있다고 본다.
아무튼 무작정 자신은 통계를 믿지 않는다고 내뱉는 상담가를 보면 면전에 대고 한마디 해주고 싶다.
그래, 적어도 네가 하는 상담은 비과학이다.
-Haru-