[ABP: 가짜 과학에 빠지지 않는 방법]

무엇이 더 중요한가?

SNS에 '10대가 가짜 과학에 빠지지 않는 20가지 방법 (마크 짐머 저, 이경아 옮김 (오유아이))'이라는 책에 대한 글이 있어, 호기심에 한 번 들여다 보았습니다. 그런데 책에서 소개하는 그 방법이라는 것들이 너무 단편적으로만 제시되어 있어, 과학을 처음 배우고 공부하려는 학생들에게 오히려 혼란이 줄 수도 있을 것이라 생각하여, 현업 과학자이자 과학을 업으로 삼는 학생들을 가르치는 사람으로서 혹시나 도움이 되실 분들을 위해 의견을 정리해서 남겨보고자 합니다. 언제든 피드백 환영합니다.
 

 1. 동료 심사를 거친 학술지에 게재된 연구 논문은 그 분야의 전문가에 의해 엄격한 품질 관리를 받은 셈이다. 가장 중요한 논문은 동료 심사를 거치는 최고의 학술지인 <사이언스>, <네이처>, <셀>, <미국 국립과학원회보>, <뉴잉글랜드 의학저널> <랜싯> 등에 게재된다. 동료 심사를 거친 학술지에서 나온 자료라면 대개는 합법적이라고 볼 수 있다.

 -> 출판된 논문은 법률적인 판단의 영역, 즉, 합법/불법의 영역이 아닙니다. 물론 간혹 이 문제가 법정으로 갈 경우 최종 판단은 판사들이 내리기는 합니다만, 그 판단에 필요한 근거는 그 학문을 하는 전문가들이 평가합니다. 과학 저널에 출판된 논문, 심지어 이른바 네이처/사이언스 같은 유명 과학 저널에 나온 논문들이라고 해도 오류를 포함하고 있을 가능성이 있습니다. 대부분의 논문이 세상에 나오기까지 반드시 거쳐야 하는 '동료 심사 (peer-review)' 라고 해 봐야 2-3명의 리뷰어가 심사하는 셈이므로 빈 구멍은 있게 마련입니다. peer-reviewer 들이 해당 분야의 전문성이 부족한 경우도 있고, 오해를 거듭할 수도 있으며, 불성실하게 하는 경우도 빈번합니다. 물론 심사를 아예 받지 않는 것보다는 리뷰에 대응하는 과정을 거쳐 수정을 거듭한 연구 논문의 품질이 훨씬 좋아질 가능성이 높지만, 그렇다고 해서 그것이 논문에 오류가 없음을 보장하는 것은 아닙니다. 제대로 훈련된 과학자라면, peer-review를 거쳐 저널에 출판된 논문이라고 해서, 그 논문의 내용을 다 믿지 않으며, 기본적으로 모든 데이터와 논지에 대해 회의적인 시각을 견지하도록 훈련받습니다. 불신하기 때문이 아니라, 주의깊게 진리로 접근하기 위함입니다.
 

 2. 아무리 유명하더라도 약탈적 학술지에 발표된 연구는 의심의 눈으로 살펴봐야 한다. 2500여 개에 이르는 약탈적 학술지 목록은 https://beallslist.net/ 에 소개되어 있다.

 ->잘 알려져 있다시피, 학술 논문 출판 시장은 컨텐츠 생산자인 저자들에게는 금전적 이득이 거의 전무하며, 오히려 원고료를 주어야 마땅한 저널 측에서 게재료를 거꾸로 요구하는 경우가 있습니다. 특히 각국의 대학이나 연구기관, 정부기관이 과학자들의 업적을 평가할 때 논문을 중심으로 하는 방법이 정착된 이후, 저널의 개수, 각 저널에 출판되는 논문의 편수도 늘어나고 있는데, 이는 그만큼 이 시장이 돈이 된다는 것이 알려졌기 때문입니다. 이를 틈타서 연구를 장려하기 위한 목적이 아닌, 오직 수익성을 노린 저널들도 나왔고, 이들 대부분은 이른바 약탈적 학술지 (predatory journal)이라고 불리고 있습니다. 이들 약탈적 학술지는 대개 최소한의 peer-review 과정에도 거의 신경쓰지 않으며, 빠른 게재와 높은 채택률을 내세워 전세계의 많은 과학자들의 연구 결과를 유치하려 합니다. 당연히 이를 역이용하는 학자들도 있고, 따라서 약탈적 학술지는 없어지기는 커녕 점점 기승을 부리고 있습니다. 이는 현재 많은 학문 분야에서 큰 문제가 되고 있으며, 정말 어떤 연구 논문이 중요한 데이터를 담고 있는지 판단하는 것을 점점 어렵게 만드는 주범이 되고 있습니다. 이를 정리한 기초 자료로서 벨 리스트 (Beall's list)라는 것이 존재합니다만, 이 리스트는 약탈적 학술지로 분류된 저널 혹은 그 저널의 출판사로부터 고소를 당하는 등의 견제를 받고 있어서 최근에는 거의 업데이트되고 있지 않습니다. 그리고 일부 약탈적 학술지는 정상적인(?) 형태로 되돌아오고 있기도 합니다. 약탈적 학술지를 집중적으로 출판하는 특정 출판사들이 있습니다만, 같은 출판사에서도 어떤 학술지는 약탈적, 어떤 학술지는 정상적인 학술지로 인정되기도 합니다. 따라서 이러한 리스트는 참고로만 삼아야 하고, 저널의 출판사만으로 쉽게 단정짓는 것은 가급적 피해야 합니다. 과학을 처음 배우고 혹은 연구를 업으로 삼으려는 학생들에게 있어 어떤 저널이 좋은 저널이고 자신의 연구 결과를 보낼 수 있는 저널인지 판단하기 어려울 수 있습니다. 이러한 학생들을 위해 이른바 지도교수라는 사람이 존재하는 것입니다. 대개 믿을만한 좋은 학술지는 그 분야의 학자들이 주로 어떤 저널에 나오는 연구논문을 읽고 참고하는지를 보아야 알 수 있습니다. 학생들은 이를 잘 모르므로 저널의 신뢰도에 대해 궁금증이 생길 경우, 이 분야에 있는 선배 현업 연구원들에게 조언을 구할 수 있습니다.
 

 3. 사전 인쇄 서버는 아직 동료 심사를 받지 않는다. 따라서 사전 인쇄 서버에 올라온 논문은 다른 과학자와 학술지 편집자로부터 진짜 과학으로 인정받지 못했다는 점을 알아야 한다. 오히려 그런 논문의 저자는 동료 과학자가 자신의 연구를 평가하고 연구의 구성 요소로 이용하도록 논문을 올린다. 이런 논문이 사전 인쇄 서버에 얼마나 오래 게시되었는지 확인해 보는 것도 좋다. 일 년이 지났는데도 논문이 동료 심사를 받는 학술지에 게재되지 않았다면 미심쩍게 봐야 한다.

 ->사전 인쇄 서버에 업로드된 연구 논문 (pre-print paper)은 peer-review를 거치기 전의 버전이긴 합니다만, 제출부터 출판까지 오랜 시간이 걸리는 특성을 고려하여, 아이디어의 선행성과 버전의 업데이트 과정을 트래킹하기 위해 올리는 경우가 대다수입니다. 많은 pre-print paper는 결국 시간이 지난 후 저널 논문으로 출판되기도 합니다. 물론 pre-print 에서 publish까지 너무 오랜 시간이 걸리는 연구라면 인용하는 것을 조심스럽게 할 필요는 있습니다. 그렇지만 정말 최신의 혁신적인 아이디어들은 요즘에는 pre-print (특히 인공지능 분야) paper에 담겨있을 가능성이 높아지고 있습니다. pre-print paper는 업로드 즉시, 고유 논문 번호를 부여 받기 때문에, 출판 전이라고 해도, 내용의 선점 효과를 인정 받아 다른 논문에 인용될 수 있으며, 제출 날짜와 업데이트 날짜 등은 나중에 특정 아이디어의 우선권을 주장함에 있어 중요한 근거가 되기도 합니다. 또한 제출에서 출판까지 1년이 넘는 시간이 걸리는 것은 분야마다 다르긴 합니다만, 많은 분야에서는 흔한 일입니다. 한 저널에 제출된 페이퍼가 그 저널에 반드시 accept 된다는 보장이 없으며, 다른 저널로 갈 경우 처음부터 심사 과정이 다시 시작되기도 하기 때문입니다. 논문을 어느 정도 써 본 경험이 있는 연구자들은 페이퍼 한 편을 출판하기 위해 1년 이상, 심지어 2-3년 이상의 긴 시간이 걸리는 경우를 겪어봤을 가능성이 높습니다. 대기 시간이 길다고 해서 미심쩍게 보아야만 하는 근거가 되는 것은 아니며, 빨리 accept 되었다고 해서 신뢰도가 높다고 판단하는 것도 제대로된 판단은 아닙니다. 
 

 4. 연구가 실제로 인간을 대상으로 한 것인지 확인해 본다. 쥐에게 효과가 있는 약이 인간에게도 효과가 있는 것은 아니기 때문이다.

 ->생명과학 연구에서 인간을 첫번째 실험 대상으로 바로 시행하는 연구는 많지 않습니다. 워낙 연구윤리문제가 복잡하기도 하려니와 (내부 연구윤리위원회 심사부터가 오래 걸릴 수 있습니다), 무엇보다 위험성이 높기 때문입니다. 쥐, 원숭이, 초파리, C elegans 같은 실험 동물을 대상으로 하는 연구, 혹은 요즘에는 오가노이드 (organoid) 같은 인공 미니 장기 혹은 조직을 대상으로 하는 연구도 충분히 의미가 있으며, 그러한 연구들로부터 비로소 인간에게 적용하기 위한 연구의 실마리가 잡히는 것이 대부분입니다. 신약 개발 연구에 있어 실험동물이나 오가노이드 연구가 없었다면 신약 개발은 이렇게 빠른 속도로 이루어지지는 않았을 것입니다.
 

 5. 상관관계가 인과관계를 뜻하지는 않는다. 두 변수 사이의 연관성이나 상호 관계를 찾았다고 해서 둘 중 하나가 다른 하나의 원인이어야 하는 것은 아니다. 거기에는 그 밖의 변수도 작용할 수 있기 때문이다.

 ->이는 중요한 지적입니다. 다만 이에 대한 리터러시를 높이려면 10대 학생들에게 통계 교육을 더 집중적으로 해야 합니다. 상관성을 판별하는 것은 인과성을 판별하는 것만큼이나 중요합니다. 대가 하나의 독립변인이 하나의 종속변인으로 연결되는 경우만 배우지만, 사실 실제로는 N:N으로 다변수 관계가 생기는 것이 빈번합니다. 이들 사이의 상관성을 판별하고, 인과성을 추론하는 것은 과학 연구는 물론, 사회과학 분야에서도 매우 중요한 연구 방법론 교육 내용이 되어야 합니다.
 

 6. 기상천외하게 들리는 주장은 경계해야 한다. 숨이 멎을 정도로 놀라워서 “믿을 수 없어.”라는 말이 입에서 흘러나온다면 동료 심사 논문 같은 믿을 만한 증거를 찾기 전까지 그 주장을 믿어서는 안 된다. 뉴스나 소셜 미디어에 올라온 게시 글이 거센 감정, 그중에서도 특히 분노를 일으킨다면 더욱 주의해야 한다. 감정에 호소해 비판적인 사고 능력을 의도적으로 차단할 가능성이 크기 때문이다.

 ->앞서 언급했듯, 동료 심사를 받은 논문이라고 해도 반드시 연구 논문의 신뢰도가 담보되는 것은 아니며, 대개 기상천외하게 들리는 주장은 그에 합당한 증거가 있느냐 여부로 신뢰도가 결정됩니다. 그리고 무엇보다 그 증거가 제 3자에 의해 확인되거나 재현되어야 합니다. 그것이 진짜 과학하는 방법이고 경로입니다. 대다수의 과학 연구는 읽는 이의 감정을 자극하는 경우는 없습니다. 과학 연구 논문의 문장들, 문체들은 따분할 정도로 건조하고 단조롭게 쓰여 있는데, 그것은 오로지 사실과 논리의 흐름을 기술하는 것에만 초점이 맞춰져 있기 때문입니다. 오히려 감정이 섞이거나, 주관성이 강한 문체로 확정하듯 단정 짓거나 하는 문체들은 peer-review 과정에서 지적 받거나, 에디터가 지적하여 고칠 수 밖에 없게 됩니다. 과학 연구 논문은 문학 작품이 아니기 때문입니다. 물론 잘 쓴 연구논문은 문장 자체가 무미건조해도, 읽고 나면 머릿속에 남는 것이 많은데, 그것은 논리의 흐름이 유려했기 때문이지, 감정에 호소했기 때문은 아닐 것입니다.
 

 7. 맞춤법과 문법에 오류가 많은 정보는 의심해 봐야 한다. 정보작성자가 맞춤법조차 신경 쓰지 않았다면 그런 정보는 사실 검증 과정을 거치지 않았을 가능성이 크다.

 -> 논문의 맞춤법/문법 오류는 대개 출판 과정에서 교정됩니다. 충분히 교정되지 않은 페이퍼가 있다면 그 저널의 편집자가 게으르거나 저널 퀄리티가 별로 좋지 않을 확률이 높음을 의미합입니다. 또한 대부분의 정상적인 저널이라면 애초에 peer-review 과정에서 그 점이 개선되지 않으면 출판되기 어렵습니다. 까다로운 reviewer 들은 맞춤법/문법 오류가 너무 빈번한 연구 논문은 reject 판정을 합니다. 다만 문법/맞춤법에만 너무 치중하다 보면 그 논문이 담고 있는 핵심 아이디어를 지나칠 수 있으므로, 그 오류가 너무 지나치게 빈번하게 나오는 것이 아니라면 그것에만 매몰될 필요는 없습니다.
 

 8. 정치적 논쟁에는 대립하는 양쪽 진영이 필요하지만, 과학적 합의는 그렇지 않다. 언론 매체가 과학적 합의와 거기에 동의하지 않는 비주류 과학에 똑같은 방송 시간을 주는 ‘거짓 균형’은 주의해야 한다. 과학적 합의를 훼손하고 과학에 대한 불신을 심어 이득을 얻는 기업의 후원을 받는 사람들이 위험천만한 견해를 내놓는 것도 경계해야 한다.

 ->이러한 비교는 서로 상반된 주장을 하는 (혹은 가설을 지지하는) 복수의 학파가 있는 학문에서는 오히려 더 장려되어야 합니다. 좀 큰 학회에 가보면 어느 한쪽이 지배적이지 않은 (즉, 주류가 아닌) 학설에 대해 진영이 갈려 거의 전투에 가까운 설전이 벌어지는 것을 목격하는 것은 어렵지 않습니다. 과학은 합의에 이르는 과정이기도 하지만, 그 과정에서는 치열한 논쟁이 있는 것이 정상입니다. 논쟁이 없었다면 과학은 지금과 같은 모습이 될 수 없었을 것입니다. 양쪽 진영이 대비되는 비교 방식이 지양되어야 하는 케이스는 정상적인 과학과 사이비과학과의 병치입니다. 예를 들어 지구편평론자와 정상적 교육을 받은 천문학자 혹은 물리학자가 나란히 지구가 둥근지 여부를 놓고 서로 맞서 싸우듯 토론하게 하면, 이는 오히려 지구편평론자에게 유리한 지위를 주게 됩니다. 지구편평론자들의 근거는 모두 파훼되었고 과학의 범주에 들어가지 않지만, 정상 과학과 병치되면서 마지 또 다른 학설인 것처럼 포장될 수 있기 때문입니다. 따라서 이런 배치는 피해야 합니다.
 

 9. 부정 편향, 가용성 편향, 확증 편향 같은 인지 편향을 주의해야 한다.

 ->좋은 지적입니다. 그러나 마찬가지로 통계 literacy 교육이 충분하지 않으면 이러한 편향에 빠질 염려가 있습니다. 또한 출판 편향도 피해야 합니다. 어떤 흥미로운 가설을 세워 그것을 테스트한 연구 결과를 가지고 논문을 쓰는 경우, 만약 결과가 그 가설을 기각하는 것으로 나오게 되면 그 연구 논문은 저널에서 별로 환영받지 못 하게 될 가능성이 높습니다. 마치 '이번 recipe는 훨씬 맛있는 요리를 만들 수 있을 것이라 생각했지만, 맛을 보니 그냥 예전과 다를바 없었다.'라고 누군가 요리책을 쓴다면, 그 요리책을 사려는 사람이 거의 없을 것이라는 점과 비슷합니다. 그런데 이 과정에서 문제가 생길 수 있습니다. 그것은 가설이 검증되는 것으로 나오게 되는 연구들이 주로 출판되는 출판 편향입니다. 열번 중에 아홉 번은 새로 개발된 recipe가 맛에 영향을 주지 않는다라고 나와도, 나머지 한 번이 영향을 주는 것으로 나온다면, 그 recipe가 실리는 요리책이 다른 요리책보다 더 잘 팔리게 되는 것과 유사합니다. 과학에 있어 성공한 결과들만 주로 좋은 저널에 나와서 과학이 진보하는 것이라는 착각이 들 때가 있습니다만, 사실 진짜 과학의 진보는 수많은 실패들이 기록되고 그로부터 다른 방법, 다른 시도, 다른 접근 경로가 탐험되고 개발될 때 이루어지게 됩니다. 하나의 성공은 수많은 실패를 딛고 이룩된 것임을 우리는 기억해야 합니다.
 

 10. 설득력이 강하고 지금까지 믿고 있는 모든 사실을 입증해 주는 정보를 읽거나 보게 되면 그런 정보가 정당이나 정체성과 관계없이 공평한지, 정치적 편향성이나 사회적 정체성을 이용하는 것은 아닌지 분명히 따져 봐야 한다.

 ->정상적인 연구 논문이라면 읽는 이를 설득하려는 것에만 치중하지 말고, 주어진 데이터 안에서 내적으로 논리적으로 연결되는지에 대한 가설과 검증을 해야 합니다. 그리고 해결되지 않은 부분은 그저 open question으로서 남겨 두어야 합니다. 하나의 연구에서 특정 학계의 특정 문제를 한꺼번에 해결하는 경우는 드뭅니다. 그런 논문이 있다면 기념비적인 논문이 되겠지만, 대가 많은 논문들은 특정 문제의 일부를 해결한 것만으로도 기여를 했다고 생각합니다. 나머지 해결되지 않는 부분은 후속 연구나 학계의 동참을 위한 아이템으로 남겨 두는 것이 정상적인 방법입니다. 누군가가 따라올 수 있는 발자국을 하나라도 더 찍은 것에 의미를 둘 수 있는 것입니다. 문제가 될 수 있는 것은 이해충돌 (COI, conflict of interest)에 문제가 있는 경우입니다. 특정 회사의 이익을 보호하기 위해 작성된 논문이나 특정 이익 단체의 입장을 대변하기 위해 작성된 논문 등이 그러한데, 이러한 경우에도 논문을 쓸 수 없는 것은 아니지만, 독자들을 호도하지 않기 위해 논문에 COI 정보를 명기해야 합니다. 만약 COI가 제대로 disclosure 되어 있는지 않다면 이는 그것이 논문의 신뢰도나 진실성을 가로막을 수 있다고 저자들이 스스로 찔려하기 때문일 가능성이 높습니다. 따라서 논문의 COI 정보를 확인하는 방법으로 좋은 논문인지 여부를 어느 정도 판한할 수 있습니다. 
 

11. 정치인이 항상 진실을 말하는 것은 아니다. 정치인의 과학지식은 오히려 독이 되기도 한다. 때때로 그들은 자신이 소속된 당의 잘못된 방침을 따르기도 하고, 허위 정보를 퍼뜨리거나 사실 관계를 모호하게 만드는 데 앞장서기도 한다.

->정치인이 과학을 직접 언급하는 경우는 흔치 않지만, 자신이 제안하려는 정책의 근거 자료로는 자주 이용합니다. 그만큼 방법론이자 지식 체계로서의 과학에 대해 가지고 있는 대중의 신뢰도를 이용하고자 하는 의도일 것입니다. 다만 자신에게 유리한 것만 취사선택하는 방식으로 과학을 이용하려 한다면 그것은 대중에게 잘못된 정보를 믿게 할 수도 있습니다. 예를 들어 석유회사 임원 출신의 어떤 정치인이 있다고 가정해 봅시다. 만약 이 정치인이 '어떤 연구에 따르면 지구온난화는 인간의 산업 활동과 큰 관련이 없다는 것으로 드러나기도 헀습니다. 이 연구는 저명 학술지에 실릴 정도로 신뢰도가 높습니다.'라고 주장했다고 생각해 봅시다. 그렇다면 그 지지자들은 자신도 모르게 지구온난화 허구론도 같이 지지하게 되는 셈이겠죠. 정치인 혹은 정당이 과학을 취사선택하며 정당 논리를 혹은 개인의 정치적 목적을 위해 사용하는 경우가 있기 때문에, 일반적인 과학 학회는 정치에 대해 중립성을 지켜야 합니다. 그리고 어떤 정당이든, 정치인이든, 과학적 사실을 잘못 이야기했거나, 편향되게 해석했거나, 비과학적인 개념을 과학적인 개념인 것처럼 활용했거나, 비유와 사실을 혼동했거나 하는 오류를 저질렀다면, 그에 대해 정정을 요구할 수도 있어야 할 것입니다.  
 

 12. 연예인이 홍보하는 의약품과 과학적 발상은 주의할 필요가 있다.

 ->동의합니다. 주의할 필요가 있습니다. 그렇지만 연예인이 홍보한다고 해서 무조건 사이비성이 있다고 보는 것도 편견입니다. 연예인이든, 정치인이든, 저명한 사람이든, 광고모델은 그 제품의 유효함을 보장하지 않습니다. 그 제품, 특히 의약품이라면 식품의약품안전처 혹은 그에 해당하는 기관의 엄격한 심사와 평가를 거쳤는지가 제일 중요할 것입니다. 문제는 건강식품류인데, 이들에 대한 검사는 의약품만큼은 엄정하지 않기 때문에 과장광고 시비가 항상 끊이지 않습니다. 특히 건강식품의 효능 근거로 일부 과학 연구 결과가 선택적으로 활용되는 경우가 있는 것이 주의할 부분입니다. 이런 호도에 빠지지 않기 위해서는 해당 식품에 포함된 특정한 성분들에 대해 직접 논문 혹은 특허를 조사하거나, 그것을 분석한 기사 정도는 최소한 참고할 필요가 있습니다. 
 

 13. 어떤 의학적 쟁점이 의심스럽다면 세계보건기구, 미국 식품의약국, 미국 질병통제예방센터가 어떤 태도를 보이는지 살펴보면 된다. 이들 기구는 최신의 정확한 과학적 결과물을 보유하고 외부의 간섭에서 자유로우며, 공중 보건을 책임질 최고의 과학자로 구성되어 있기 때문이다.

-> 기본적으로 의학적 연구가 실제 의약품으로 반영될 확률은 많이 낮습니다. 신약물 후보 물질이 개발되었다고 하더라도 임상시험을 끝까지 통과하여 살아남는 물질은 매우매우 제한적입니다. WHO, FDA, CDC 같은 세계기구 혹은 미국의 관련 기구가 이에 관여하기는 하지만, 이들 기구라고 해서 모든 의학 정보를 포괄적으로 다 커버하는 것은 아닙니다. 오히려 각 전문 학회가 이러한 지식의 최전선에 있을 가능성이 높습니다. 논문이 그러한 학회가 편찬하는 저널에 출판되기 때문입니다. 대형 의약 관련 기구에 과학자들이 많이 근무하지만, 그들이 최고인지 여부와는 상관없이, 이들 기구는 오로지 새로운 의학 지식과 제품이 실제로 사람들에게 안전한지, 질병치료에 도움이 되는지를 반복하고 또 반복하여 테스트하고 인증할 뿐입니다.
 

 14. 어떤 연구에서 인간이 피험자로 이용된다면 플라세보 대조군을 이용한 이중맹검법 임상 시험인지 확인해 본다. 임상 시험의 규모 또한 중요하다. 더 많은 환자가 참여할수록 약의 안전성 문제와 유익한 효과를 신속히 살펴볼 수 있고, 진짜 약을 받은 환자와 가짜 약을 받은 환자 사이의 차이도 더욱 분명해 지기 때문이다. 임상 시험에는 수천 명의 피험자가 동원될 수 있다. 인간이 피험자로 이용된 연구의 규모가 더 작을 때 연구진은 자신들이 주장하는 통계적 확신을 어떤 방식으로 얻었는지 밝혀야 한다.

->기본적으로 인간 대상의 의약품 실험은 대규모로 할수록 좋을 것입니다. 그렇지만 표본 숫자와 연구의 신뢰도가 항상 비례하는 것은 아닙니다. 얻어진 데이터에 대한 통계 처리를 잘못 하면 오히려 그 많은 표본 숫자는 잘못된 영향을 줄 수 있습니다. 많은 논문들에서는 특정 가설 (예를 들어 새로운 치료법이 특정 질병에 효과가 있는지 여부)를 검증하기 위해 p값을 쓰고, 자주 p < 0.05 인지 여부를 가설 검증의 판단 근거로 삼습니다. 그렇지만 이 역시 오류를 만들 수 있는 방법입니다. 가설 검증 단계에서 행해지는 통계적 확신은 영가설 유의성검증 절차만으로 완성되는 것은 아니며, 오히려 이러한 절차만으로는 불충분하니, 어떤 학회에서는 아예 p값으로 판단하는 것 자체를 금지하기도 합니다. 통계적 검증은 특정한 하나의 절차나 방법론만으로 완성되는 것은 아니며, 서로 다른 종류의 방법론들을 통한 교차 검증을 통해 불확실성을 줄여나가는 것이 지금으로서는 최선의 방법입니다. 최근에는 영가설 검증절차에 대한 하나의 대안으로서 베이지안 추론 (Bayesian inference)가 주목을 받고 있는데, 사전확률과 사후확률을 비교하여 보다 직접적인 가설 유효성 판단의 근거를 마련하고자 합니다. 

 15. 어떤 증거가 여러분의 마음을 바꿔 놓을 수 있는지 스스로에게 물어보자. 아무런 증거도 없다면 여러분의 비판적 사고를 경계해야 한다.

->과학 연구에서 증거 없는 주장을 받아들이는 학자는 아무도 없습니다. 또한 증거라고 제시되는 데이터에 대해서도 훈련받은 과학자들은 제 3자의 재현성과 생산된 데이터의 무결성에 대한 검증을 합니다. 또한 데이터에 문제가 없다고 하더라고, 그 데이터가 정말 논문에서 주장되는 내용을 뒷받침하는지를 살펴 봅니다. 과학에서 이야기하는 비판적 사고라는 것은 특정한 학문이나 개인을 비판한다는 뜻이 아니라, 새롭게 제시되는 데이터나 가설, 이론, 모델 등에 대해 기존의 것과 무엇이 다른지에 대해 회의적인 시각에서 접근한다는 것을 의미합니다. 과학은 믿음의 영역에 있는 것이 아니기 때문입니다.

 16. 돌팔이 의사는 의약품과 의료 행위를 홍보하느라 환자의 경험담을 이용할 때가 많다. 믿기지 않을 만큼 좋게 들리거나 만병통치약이라고 주장하는 의약품은 경계해야 한다. 환자의 경험담이 과학적 증거를 대신할 수는 없다. 또 의료 행위를 통한 치료는 장담할 수 없으므로, 진짜 의사라면 결과를 약속하지 않는다.

->돌팔이 의사가 홍보용으로 활용하는 환자의 경험담은 오로지 논문에서 case study로 정확히 보고되어야만 의미가 있습니다. 치료 대상의 기본적인 cohort 정보, 그 질병을 앓고 있는 cohort 들의 표본 수, 실험 방법과 결과 등이 정확하게 기술된 논문이 아니라면, 의사가 언급하는 환자 치료 경험담은 그저 소설에 가까운 것일 뿐입니다. 

 17. 건강 보조제 광고가 의약품 광고처럼 들린다면 조심해야 한다.

->12, 13에 대한 답변으로 갈음하겠습니다. 의약품과 건강보조제는 완전히 다른 것이므로, 건강보조제가 의약품처럼 광고된다면 그 광고는 당국에 과장/허위 광고라고 신고할 수 있습니다.
 

18. 환자를 모집하기 위해 현장 할인, 감정에 호소하는 환자의 경험담을 담은 동영상, 허울뿐인 환자 모집 광고 등의 강매 수법을 동원하는 병원은 조심해야 한다.

->이러한 행위를 하는 병의원은 이제 거의 없습니다. 만약 그런 행위로 호객을 하는 것 같은 병의원이 있다면 실력이 없는 혹은 근거가 빈약한 치료 방법, 혹은 보험에서 커버되지 않는 치료제나 도구를 활용하는 병의원이 아닌지 의심해 봐야 합니다. 

 19. 텔레비전 쇼는 엄청난 양의 가짜 뉴스를 만들어 낸다. 각종 쇼는 대중의 관심을 끌기 위해 새롭고 자극적이지만 꼭 정확할 필요는 없는 정보를 찾는다. 텔레비전 쇼에 나오는 방송인을 여러분의 의료 소식통으로 삼아서는 안 된다.

->TV쇼를 언급하는 것을 보니, 이 책은 꽤 과거에 쓰여진 책 같습니다. 요즘에는 유튜브가 많은 가짜 뉴스를 만들어냅니다. 특히 클릭바이트를 유도해야 하기 때문에 자극적인 내용으로 점철된 의료 혹은 과학 컨텐츠가 많이 있습니다. 전문가가 내용을 감수하지 않은 의료/과학 컨텐츠는 반드시 걸러서 들어야 하며, 단순히 호기심이나 흥미 위주로 소비하는 것이 아닌, 질병을 치료하기 위해 유튜브를 활용하는 것은 더더욱 조심해야 합니다. 제대로 된 과학자나 의료인은 현상이나 증상에 대해 보수적이고 회의적으로 접근하는 것이 정상입니다.

 20. ‘과학적 성과’, ‘기적의 치료’, ‘비밀 성분’, ‘고대의 치료법’과 같은 말이나 제품이 ‘천연적’이라거나 ‘무독성(꼭 안전하다는 의미가 아니다)’이라는 주장이 담긴 광고문은 경계해야 한다. 화학 물질이 다 나쁜 것은 아니며, 또 천연 물질이 다 좋은 것도 아니다.

->화학 물질이든, 천연 물질이든, 결국 화학적으로는 모두 분자에 불과합니다. 이러한 분자들이 몸안에 들어왔을 때 어떤 반응을 보이는지는 반복된 연구를 통해 데이터가 누적됩니다. 그 데이터를 기반으로 새로운 치료제를 만들고자 한다면 다시 임상시험을 몇 단계 거쳐야 합니다. 제대로 된 의약품은 기능의 한계와 부작용의 위험을 경고하며, 무독성 같은 문구를 사용하지 않습니다. 알려지지 않은 알러지나 과민반응을 일으키는 경우도 있을 수 있을 것입니다. 정상적인 과학 연구, 의학 연구라면 기적, 비밀, 고대 등의 비과학적 수식어를 사용하지 않을 것입니다. 

지금까지 알아본 내용들은 전반적으로 유익하지만, 그 내용 자체에 너무 집착하면 안 됩니다. 유튜브, 교양서, TV 등을 통해 최산 과학, 의학 성과를 알게 되고 찾아 보는 경우가 많아지고 있는데, 이들 내용들에 대해 그 분야 전문가가 아닌 사람들은 그 유효함 여부를 판단하기 어려우므로 전문가나 해당 전문 학회가 가급적 더 정확하고 더 자주 감수할 필요가 있습니다.