연구 디자인의 큰 실수

아직도 정하지 않았어요?

연구 디자인에서 가장 큰 실수는 바로 애매모호함이라고 생각한다. 뚜렷한 가설 없이 디자인되기 시작하면 연결된 많은 요소들이 흔들리기 시작할 것이다. 뚜렷한 가설이 없다는 건 디자인이 완성된 뒤에도 가설이 근거나 합의 없이 임의로 변경될 수 있음을 뜻한다. 나중에 연구 관련 승인을 받거나, 나아가 연구 과정에서 작성된 논문의 출판 승인을 받을 때도 이 거대한 애매모호함의 사슬에 갇히게 된다. 사슬이 얼마나 촘촘한지 겪어보면 안다. 자가당착의 지경에 이르게 되어 A를 말하면 B가 흔들리고, B를 말하면 C가 흔들리게 된다. 

(이미지 출처: https://flic.kr/p/dttLwg)

어떻게 명확한 가설이 없을 수 있을까? 연구 초기부터 지금까지 변함없는 의문이자, 연구원으로서 재직하면서 강해져만 가는 생각이다. 가설이 없다는 건 최종 결과물의 형태를 예측할 수 없다는 뜻이다. 그보다도, 가설이 명확하지 않으면 연구 과정에서 제대로 된 실패를 겪을 수 없게 된다. (오히려 좋다고?) 하지만 실패가 없으면 합리적인 방향으로 수정과 전환이 불가능해진다. 이것이 바로 애매모호한 디자인의 치명적인 아킬레스건이다. 실패가 두려워서 1층을 대충 만들어놓으면, 재건축의 기반마저 무너질 수 있다.  

대학생들 뿐만 아니라 비슷한 과도기를 살아온 현재 30-40대에 대해서도 쓴소리를 아끼지 않는 조던 피터슨(Jordan peterson)은 실패에 대해 이와 같이 정의한 바 있다. 실패는 실패라고 말하지 않아도 실패고, 실패라고 생각하지 않아도 실패다. 실패를 실패로 인정할 수 있어야 앞으로 나아갈 수 있다고 말했다 (인생은 원래 쓰다고 말이다). 따라서 연구자도 실패할 수 있다는 예상을 충분히 하면서 가설을 촘촘하게 세워야 한다. 하지만 연구 디자인의 실패도 인정하기 싫고, 실패가 닥칠 때 가설을 수정할 생각도, 의지도 없다면 연구를 그만두어야 하지 않을까. 이쯤 되면 연구는 연구가 아니라 기적을 바라는 기우제다.  

가장 문제가 되는 연구 디자인은 바로 'observational study'의 명목 하에 모든 가능성에 골고루 어망을 치는 것이다. 여기서 안 걸리면 저기서 걸리겠지라는 마음으로 진행하는 꼴이다. 어디선가 유의미해 보이는 결과가 나오면 그걸 침소봉대해서 결론을 내리고 싶어 진다. 그렇게 연구할 거면 차라리 도박장으로 가라고 말하고 싶다. 에너지에는 한계가 있다. 한두 가지의 결과 목표를 설정하고 진행해도 상황에 따라 어려움이 닥치는데, 결과 목표를 무한대로 설정해두면 연구는 무너질 것이다. 결과도 중구난방일 것이다.  

혹시 실패하더라도 실패라고 인정하지 않을 수 있는 정신적 회피 구조를 짜 놓은 것일까? 최초 가설이 실패로 돌아가면, 실패의 원인 분석이 올 차례다. 그다음은 자동으로 수정 가설이 생성된다. 적어도 평소에 과학적으로 논리적으로 사고해왔던 연구자라면 가능할 것이다. 가장 위험한 것이 맹목적인 신념으로 연구에 접근하는 것이다. 이런 경우 자신의 신념이 잘못되었음을 돌아보는 경우는 별로 없다. 그랬으면 진작에 맹목적이지 않았을 테니까. 연구는 무엇보다 유연한 것이어야 하며 내 생각이 틀릴 수 있음을 늘 인지해야 하는 것인 듯하다. 연구에서의 맹목은 마치 큰 몸집을 가진 사람이 스키니진에 들어가고 나서 바지가 다 터지는 것 같은 결과를 가져온다. 가랑이 하나를 넣어보고는 바로 알 수 있었을 텐데 말이다. 사이즈가 나오잖아?

사실 주변에서는 끊임없이 메시지가 전달되고 있다. 우리가 사는 이 세상이 원래 그렇다. 어느 정도까지 들을 수 있는지가 포인트다. 하지만 반드시 사람의 말로만 전달되지는 않는다. 무언(無言)으로, 표정으로, 사물로, 정적으로, 분위기로, 연구의 중간 결과로, 연구 진행의 더딤으로, 무언가 이상하다는 직감으로도 메시지는 늘 전달되고 있다. 다만 듣지 않을 뿐이고 들을 자신이 없을 뿐이며, 더욱이 듣고 나서 실행에 옮길 엄두가 안 나서 그렇다. 자신에게 버거운 현실을 직면하고 거기서 몸을 움직이는 일은 가시밭길처럼 고통스럽다. 

한 가지 덧붙이자면, 한의사들이 요즘 많이 주장하는 'multi-target' 그리고 '양방향성 작용'은 분명히 일정한 방향이 존재할 것이다. multi 한 타깃 중에서도 우선순위는 존재할 것이며, 순차적인 cascade 작용이 일어날 수도 있다. 양방향성 작용은 아마도 용량이 특정 threshold를 넘어가면 나타나는 반대 작용으로 보인다. 임상 보고에 의하면 대표적으로 황기나 백출의 경우 일정 용량 이상 넘어가면 그 용량 이하를 주었을 때와 반대되어 보이는 작용을 나타낸다. 하지만 이는 아직 검증되지 않은 개인적인 생각이다.