by
Apr 26. 2021
대학가기 전에, 논문쓰기 전에 알았으면 좋았을텐데
혹시 사회과학, 심리학 전공자세요..?ㅎ
우리가 매일 엄청난 양의 뉴스기사나 콘텐츠들을 미디어에서 접한다. 손가락을 휘~휘~ 아래위로 왔다갔다하면서 화면을 휘젓다가 이런 기사를 봤다고 해보자.
"랩, 힙합을 하는 사람들은 전쟁터의 군인들보다 직업적 사망률이 높다".
이 표에서 재즈나 컨트리 움악을 하는 뮤지션들의 사망연령의 절반이다. 이런 엄청난 일이 과연 가능한 것인가?
책에서는 "뭔가 너무 좋거나 너무 나빠서 도저히 사실 같지 않다면 아마 그 생각이 맞을 것이다."라는 유용한 팁을 주는데 예상대로 사실이 아니다. 랩과 힙한은 생긴지 40년이 안되는 새로운 장르이며 인기 음악가들은 10대나 20대에 커리어를 시작하는 경향이 있다. 연구가 종료되는 시점 이후에도 계속 살아있는 표본을 데이터세트에서 없앴을 뿐이다. 그래서 랩과 힙합을 하는 뮤지션들이 단명할 가능성이 높은게 아니라 젋은 나이에 죽은 랩 스타들의 표본만 데이터세트에 포함되어 분석된 것이다.
연구 저자는 데이터가 우측 중단 되었으니 결과에 편향이 있을 수 있다라고 밝혔지만. 이건 연구저널에서 기사를 뽑아서 미디어에 뿌리는 사람들에겐 그저 관심도 없고 재미도 없는 소스일 뿐이다. 자극적이지 않고 흥미로운 기삿거리가 아니면 사람들은 클릭하지 않을 것이고, 클릭하지 않으면 돈이 안되기 때문이다. 그렇다. 미디어는 우리가 정확한 정보를 얻던지 말던지 관심이 없다. 돈만 벌면 된다.
이런 일은 미디어에서만 벌어지는 게 아니다. 체계적이고 객관적인 정보만을 제공할 것 같은 과학저널에도 일어난다.
쓰레기같은 논문들이 모이는 신뢰도 낮은 학술지들이 있고, 이에 기반한 내용을 읽고 믿는 사람들이 생길수 있다. 무서운 점은 여기서 악순환이 생길 수 있다는 것이다. 어떻게? 주로 이런 내용을 sns피드에서 봤다고 해보자. SNS도 우리가 더 많은 콘텐츠를 클릭하면서 더 많은 시간을 보내길 원하기 때문에 우리가 주로 소비하는 내용을 자주 보여줄 것이다. 그러면 한 개인은 알고리즘을 타고, 개인화된 피드에서 헛소리 기사, 콘텐츠에만 노출될 수 있는 것이다.
심리학과 1학년 통계 방법 수업의 첫 수업에 교수님이 제발 세뇌되길 바라는 듯 마술을 부리는 것처럼 팔을 돌리며 다 같이 외치라고 한 문장이 있다. 그래서 약 300명 정도가 다 같이 외쳤던 기억이 난다.
요런느낌(..?)Correlations does not imply causation (상관관계는 인과관계가 아니다)
이 외에도, 출판 편향이나 재현 연구에 대해서도 빠뜨리지 않으셨던 기억이 있다. 하지만, 이런 내용을 배울 당시에는 이게 얼마나 큰 문제인지, 미디어에서는 문헌들을 어떻게 입맛에 맞게 추출해서 쓴다는 심각성에 대해서는 깊게 생각하지 않았던 것 같다. 심지어, 랩 리포트를 쓸 때, 연구의 단점과 한계에 대해서 쓸 때, 이론의 결험이나 실험 설계에 서의 간과한 부분을 쓰려고 했고, 상관관계나, 표본 규모, 출판 편향에 대한 이슈들은 피상적인 이슈들로 치부했었다.
교수님들의 대부분은 강의 중 꼭 한 번은 쓰레기가 같은 연구들을 언급하시고는 한숨을 쉬시기도 하고, 출판 편향이나 재현이 안되는 연구들에 대해서만 이야기하는 강좌가 열려야 된다고 이야기하셨다. 하지만 그게 얼마나 중요한 문제인지에 대해서는 그 당시 알지 못했던 것 같다.
도서관에서 타닥타닥 키보드를 두드리면서 실험 리포트를 쓰고 있으면, 나와 내 친구들은 한 번쯤 이런 이야기를 했다. "00에 관련된 문헌을 찾았는데, 클릭을 해서 들어가 보니, 내가 원하는 방향의 증거가 아니네. 난 반대 방향의 결과가 필요한데..". 꼭 필요한 퍼즐 조각을 찾는 느낌이 들었던 적이 있다.
또, 졸업 연구 프로젝트를 하는데, 다른 팀에서 유의미한 결과가 나오지 않았다고 했었는데. 그 친구는 "아!! 말 그대로 1년을 낭비한 거랑 똑같잖아!"라고 했었던 기억이 있다. 교수님도 "보통 유의미한 결과가 나온 경우에 점수를 높게 주긴 하지만.. 그래도 왜 유의미한 결과가 나오지 않았는지 써봐라 (=왜 부정적 결과를 얻었는지)"라고 조언을 해주셨다. 그래서 몇몇 친구들이 질적연구를 하기로 한 이유가 양적연구를 했을 때 유의미한 결과가 나오지 않는 상황을 대비하기 위해서라고 한 친구도 있었다.
[대량 살상 수학 무기]의 저자, 캐시 오닐은 책 [똑똑하게 생존하기] "이 중요한 지침서의 내용을 고등학교 교과과정에 넣는다면 난 환영할 것이다. 잘못된 정보가 넘쳐나는 시대에 현대인으로서 어떻게 살아야 할지 고민한다면 이 책을 적극 추천한다"라고 했다.
그리고 이 책을 읽고 난 후, 나는 캐시 오닐의 추천사에 전적으로 동의한다. 대학 가기 전에 읽었으면 좋았을 텐데!! 다시 돌아가고 싶다! (진심으로!)
문제가 무엇인지, 연구가 필요한 부분이 무엇인지 찾아보고, 정확한 통계모델과 데이터를 통해서 현상을 분석해 볼 때, 공부하는 학생과학자(ㅋㅋㅋㅋ!)로서 가치를 부여한다는 자부심이 생길 것 같다.
미디어, 일부 학술지처럼 단순히 관심을 끌고 돈을 벌기 위한 것이 아니라 정말 사회현상을 밝혀내고 사람들을 탐구해 보겠다는 사명감을 가지고 공부하게 될 것이다.
과학의 발전, 전혀 와닿지 않는 단어였다. "현연구에서 풀리지 않은 부분은 나중에 후속 연구에서 풀리길 바란다."라는 문장은 다른 연구자에게 떠넘기기 위한 문장이라고 생각했었다. 하지만, 이 책을 읽고 나니, 자신의 연구의 한계를 인정하고, 특히 다른 연구자들도 정직한 연구를 해줬으면 하는 마음도 담을 수 있겠다는 생각이 들었다.
어려운 책이지만, 대단해 보였던 미디어, AI, 과학 학술지들이 어떻게 우리들을 속일 수 있는지, 그들의 목적과 입장을 신랄하게 비판한다!! 너무 재밌고 속 시원한 책이다!
여담
3학년 막 학기에 '성인 심리적 문제' 수업의 교수님은 meta-analysis (메타분석)만 에세이의 증거로 인정할 것이라고 하셨고, cross-sectional correlations 만 보여줄 때는 치를(?) 떠셨던 것 같다. 기억은 나지 않지만, 어떤 학술지를 사용해서 공부를 하라고 하셨다. 박사생 친언니를 둔 친구가 있었는데, 그 언니도 학부생한테 왜 이렇게까지 요구하는지 모르겠다 말했다는 이야기를 듣고 교수님을 이해할 수가 없었는데. 제대로 공부하길 바라셨던 것 같다.
그래서 그때 공부했던 것이 제대로 했었다는 기억이 있다. 돌아보니 감사하다.
