[논문] 머신러닝, 역학
1. <Machine Learning for Fetal Growth Prediction> (Epidemiology, 2018)
태아의 몸무게를 측정하는 일은 매우 중요하다. 그런데 태아의 몸무게는 종종 missing data인 경우가 있기에, 이를 추정해낼 필요가 있는데, 그동안은 회귀분석을 이용해 예측을 했다.
본 논문에서는 미국 피츠버그 병원의 데이터를 이용해 태아의 몸무게를 회귀분석(Linear, Qunatile regression)과 세 개의 data adaptive ensemble learning algorithms (보통 머신러닝으로 불리는 기법들: random forests, Bayesian additive regression trees, and generalized boosted models)을 이용해 추정하고 그 중 가장 정확한 예측능력을 가진 통계모델이 무엇인지를 비교한다. 가장 뛰어난 예측력을 가진 모델은 Generalized Boosted Models 이었다.
2. <Overachieving Municipalities in Public Health: A Machine-learning Approach> (Epidemiology, 2018)
Machine learning은 도구에 불과하기에 결국 좋은 논문들은 이 통계적 기법을 이용해 어떤 새로운 인식을 만들어낼 수 있는가를 보여준다. Machine Learning으로 기존 회귀분석 기법과의 비교를 통해 새로운 모델이 더 예측능력이 뛰어나다는 점을 보여주는 것으로는 어필할 수도 어필할 이유도 없는 게 당연하다. 그런데, 결국 risk factor를 밝혀내 그것들을 modify해서 인구집단의 건강을 증진시키는 보건학 연구에서 예측 모형이 서 있을 자리가 어디인가에 대한 고민을 해야 한다. 이 예측 모형은 과연 어떻게 활용될 수 있을까. 그 지점이 radiology를 비롯한 의학진단의 영역에서 machine learning이 급격히 활용되고 있는 반면에 epidemiology에서 그 적용이 늦고 수용이 제한적인 이유일 것이다.
브라질의 인구 10,000명 이상의 도시 3,052 곳의 데이터를 이용해서 출생시 평균기대수명을 예측한다. 이 예측 인자에는 소득, 문맹률, 여성의 비율, 실업률 등이 포함된다. 그리고, 머신러닝 분야에서 널리 활용되는 16개 기법을 이용해서 각 도시별 기대수명을 예측한다. 이 기법에는 Random forest, SVM radial/linear/polynomial, KNN, Super Learner 등이 포함된다. 이 중 가장 뛰어난 예측력을 보인 것은 단일모델로는 10-fold cross validated mean squared error가 0.175가 나온 random forest였고, 전체로는 모델을 종합해 적절한 weighting을 부여해 이용하는 SuperLearner가 0.168으로 가장 작게 나왔다.
이 SuperLearner를 이용해 3,052 도시의 평균기대수명을 예측하고 각 도시별 실제 평균기대수명과의 차이를 측정한다. 그리고 각 도시를 실제 평균기대수명에 따라 3 그룹으로 나누고, 그 속에서 각기 기준으로 Under Achiever과 Over Achiever 두 그룹으로 나눈다. Overachiever는 그 도시의 여러 특성을 감안할 때 예측되는 평균기대수명보다 실제 기대수명이 더 높은 집단이다. 그리고 각각의 lower/middle/higher tertile 세 그룹에서 health care 관련된 변수들을 overachiever와 underachiever 집단의 차이 값을 비교한다. 인구 만명당 병상 수, 여성 유방촬영술 비율, 백신 접종률 등의 변수를 비교한다.
이 연구의 결론은 사회인구학적 변수로 각 도시별 평균기대수명을 꽤나 잘 예측할 수 있다는 점이고, Overachiever 도시들은 primary health indicator(백신접종, 기초 구강검진 등)에서 상대적으로 잘하고있고, underachiever들은 secondary care indicator (C-sec, mammographies) 에서 좋은 결과를 드러냈다. 결과적으로는 자원이 부족한 나라에서는 primary health indicator에 더 집중할 필요가 있다고 권한다.
3. <A systematic review shows no performance benefit of machine learning over logistic regression for clinical prediction models> (JCE, 2019)
- 머신러닝은 도구일 뿐이다. 그 통계적 모형 자체로 합리성이나 뛰어남을 담보하지 못한다. 2016년 1월부터 2017년 8월까지 출판된 논문 71편을 분석해 검토한 이 systemic review 논문은 Machine Learning이 기존의 Logistic Regression과 비교해 더 나은 예측 능력을 보이지 않았다고 결론 내린다. 모두가 machine learning에 열광하는 이 시기에 출판된 좋은 논문이다.
"The AUC of logistic regression and machine learning models for clinical risk prediction were
similar when comparisons were at low risk of bias; machine learning (ML) performance was higher in comparisons that were at high risk of bias."
We included 71 of 927 studies. The median sample size was 1,250 (range 72–3,994,872), with 19 predictors considered (range 5–563) and eight events per predictor (range 0.3–6,697). The most common ML methods were classification trees, random forests, artificial neural networks, and support vector machines. In 48 (68%) studies, we observed potential bias in the validation procedures. Sixty-four (90%) studies used the area under the receiver operating characteristic curve (AUC) to assess discrimination. Calibration was not addressed in 56 (79%) studies. We identified 282 comparisons between an LR and ML model (AUC range, 0.52–0.99). For 145 comparisons at low risk of bias, the difference in logit(AUC) between LR and ML was 0.00 (95% confidence interval, −0.18 to 0.18). For 137 comparisons at high risk of bias, logit(AUC) was 0.34 (0.20–0.47) higher for ML.
