by
Jul 06. 2024
논문을 쓰는데, 내 가설대로 결과가 안 나왔다면?
대학원에서 내가 느꼈던 것들
대학원에서 논문 쓸 때의 일이다. 늘 결과가 좋다면 얼마나 좋겠냐마는, 현실은 연구 가설hypothesis대로 흘러가지 않을 때가 있다.
만약 데이터에서 조금도 건질 게 없었다면 차라리 후련하다. 하던 것들 싹 폐기하고 다시 아이디어 짜면 된다. 물론 그간 들인 시간, 노력, 돈이 눈물나게 아까운 건 어쩔 수 없다. 고스란히 내 머리 속에 경험치로 남았기를 바랄 수밖에.
그러나 문제가 될 때는 다름 아닌 결과가 애매하게 나왔을 때다. 현실 대부분이 이렇다. 어렸을 때 학교에서 수학문제풀듯이 맞으면 맞았다고, 틀리면 틀렸다고 하면 좋으련만 꼭 그렇지가 않다.
뭔가 나오긴 나왔는데...하 애매하네
좀만 비틀면 말이 될 것 같기도 한데...
표본이 조금 모자랐나..?
현실적으로 검증을 하다보면 가설을 '부분 지지'하는 결과가 나올 때가 꽤 있다. 이럴 땐 어떻게 할까? 혹자는 슬쩍 가설을 바꾸거나 데이터를 더 모으거나 하면 되지 않냐고 생각할지 모르겠지만 그건 연구부정이다.
딱 계획대로 데이터 모으고, 계획대로 검증하고, 그걸 받아들여야 한다. 결과가 애매했다면 애매한대로, 잘 나온 것과 아닌 것을 모두 보고하고, 나온 건 왜 나온 것 같은지, 안 나온 건 왜 안 나온 것 같은지 해석해서 보고하면 된다.
결과가 애매하면... 논문이 될 수 없나?
반은 맞고 반은 틀린 말이다. 대개 논문들을 보면 가설대로 결과가 잘 나와준 경우가 많다. 나온 게 없는데 새로운 사실(가능성)을 발견했다며 논문을 내긴 아무래도 어렵다.
그래서 연구자들은 기본적으로 잘 나온 결과를 모아서 논문으로 낸다. 이 관행 때문에 종종 '파일 서랍장 문제'라고 해서 건강한 연구 생태계를 망치는 결과가 나타나기도 한다. 쉽게 말해 어떤 가설을 100번 검증했을 때, 98번은 망하고 2번은 (아마도 우연이겠지만) 성공이라면 연구자는 '처음부터 난 2번만 검증했어요' 라며 논문을 쓰고, 98번의 망한 기록은 서랍장에 치워두고 싶은 유혹에 빠질 수 있다는 거다.
가설의 부분 지지는 절반의 승리
가설대로 결과가 안 나왔더라도 나름의 의미는 있다. 무엇보다 안 나온 이유를 검토하면서 자신의 가설을 더 발전시켜, 다음에 더 좋은 연구를 하도록 발판으로 삼을 수 있다.
안 나온 것 그 자체에 의미를 부여할 수도 있다. 커플에게 100만원 지원금을 주는 것이 혼인률 상승에 효과가 있다는 가설을 누가 검증하려 했다 치자. 연구 결과, 지원금 수령 여부와 혼인률 상승에는 아무런 연관이 없었다고 해보자. 가설대로 안나왔으니 아무 의미가 없을까? 아니다. 효과가 없기 때문에 이 연구 결과를 본 정책결정자는 100만원 지원책을 포기할 수 있다. 그 대신 정해진 예산을 주거문제 개선이라든지, 인식 변화 캠페인이라든지, 취업문제 개선이라든지 다른 여러 가지 방향으로 돌릴 수가 있다.
따라서 가설대로 데이터가 딱 맞아 떨어지지 않는다 해도 낙심할 필요는 없다. 과학은 원래 가치중립적이다. 나왔든 안 나왔든 그 결과에 어떤 가치와 의미, 활용법을 부여하는가는 연구자의 판단에 달렸다.
덜 나와도 받아주려는 저널들
대학원에서 논문을 투고하며 느낀 거지만 세상에는 논문을 낼 수 있는 저널들이 어마무시하게 많다. 네이처, 사이언스 같은 누구나 다 아는 초유명 저널도 있지만, 관심을 갖기 전까지는 모르는 애매한 저널들도 많다. 그리고 저널들마다 게재정책도 다 다르다.
어떤 저널은 가시적 성과를 중시한다. 여러 번의 검증은 기본이며 가설대로 딱 떨어지는 결과가 나온 논문을 우선적으로 받아준다.
어떤 저널은 가능성을 환영한다. 비록 가설에 완벽히 부합하는 결과가 아니었더라도 나름 여기에 의미가 있거나, 굉장히 중요한 메시지를 담고 있다거나, 후속 연구의 가능성이 보인다면 그 논문을 기꺼이 받아주기도 한다.
요컨대 비록 여러분이 딱 원했던, 그 저널에 논문을 내진 못할 수 있지만 어쨌든 여러분이 자신의 연구에 어떻게 진심을 다하느냐에 따라 그걸 알아봐주는 곳도 있다는 말이다.
한번 망해봐야 학계든, 나든 성장을 한다.
솔직히 나는 대학원에서 논문을 읽을 때 잘 나온 결과만 열심히 읽었다. 논문을 읽다가 '~가설은 유의하지 않았다' 이런 내용이 나오면 '어차피 검증되지도 않은거, 굳이 읽어볼 필요도 없겠군' 하고 패스하고는 다른 논문을 찾아 읽곤 했었다.
그러나 여러 번 논문을 쓰며 망해(?)보고 나서야 다른 생각을 갖게 되었다. 때로 발견이라는 것은 망했을 때 비로소 보이기도 한다는 것을 말이다. 경험 과학을 하는 사람들은 공감하실 것이다. 검증하기 전까진 모른다. 나름대로 치밀하게 가설을 세워보지만, 그래서 이번엔 결과가 잘 나올 것 같다고 자신해보지만 막상 패를 까 보면(데이터를 모아 보면), 그제서야 내가 어떤 점을 간과했는지 보이는 경우가 있다.
제3의 변인을 고려하지 않았다든지, 표본 설계가 틀렸다든지, 다른 모형이 지지될 가능성이 있다든지, 기타 여러가지 이유들로 인해, 왜 이 가설이 지지받지 못했는지 복기하는 과정에서 비로소 더 한 걸음 나아가는 듯한 기분을 받기도 한다. 안 나왔다고 폐기할 것이 아니라, 다음을 기약하는 것이 진짜 공부이고 성장이 아닐까 하는 생각이 들었다.
그러니 혹시라도 지금 이 순간, 논문을 준비하며 망할까 봐 걱정하고 계신 분들께 감히 한 말씀 드리고 싶다. 일단 무조건 결과가 잘 나오는 게 최고다. 하지만 안 나왔다고 해서 너무 낙심하지 말자. 부분적인 지지도 충분한 승리니까 말이다. 물론 지금에서야 하는 말이지, 막상 결과가 원하는 대로 안 나온 그 순간에는 미칠 것 같긴 하지만...
심리학 대학원 입시 관련 카페를 운영하고 있습니다. 관심 있는 분들은 놀러와 주세요!
