회귀분석(Regression)의 모델 평가 알아보기

출퇴근길에 공부하는 머신러닝

들어가며

모델을 훈련시킨 후에는 해당 모델의 성능이 얼마나 좋은지, 혹은 어디에 문제가 있는지를 평가하는 것이 중요하다. 이를 위해서 다양한 평가지표를 사용하게 되는데, 오늘은 회귀 모델의 주요 평가 지표와 이를 어떻게 해석하는지에 대해서 살펴보고자 한다.

R²(결정 계수)

R²는 회귀 모델의 적합도를 정성적으로 평가하는 지표이다. R²는 실제값의 분산 대비 예측 값의 분산 비율을 나타낸다. 수식으로는 아래와 같이 나타내고 있다.

R²의 값은 0~1 사이를 가지며, 1에 가까울수록 모델의 예측력이 좋다는 것을 의미한다. 그러나 실제로 모델에 적용할 때 R²가 0.3 이상인 경우를 찾기는 힘들다. 실제로는 R²의 값이 0.25 정도라도 중요한 통찰력을 제공할 수 있다.

정량적 평가 지표

Average Error

모든 예측값과 실제값 차이를 합한 후, 데이터 포인트의 수로 나눈 값이다. Average Error가 0에 가까울수록 성능이 좋다. 하지만 Average Error는 양수 값은 과소 예측을 하고, 음수 값은 과대 예측을 하는 경향이 있기 때문에 추천하지는 않는 지표이다.

MAE(Mean Absolute Error)

MAE는 예측의 정확도를 평가하는 지표로 모든 데이터 포인트에서의 실제 값과 예측 값의 차이의 절댓값을 합한 후, 데이터 포인트의 수로 나눈 값이다. 즉, 실제 값과 예측 값 사이의 절대적인 오차의 평균을 의미한다. 만일 MAE의 값이 낮게 나온다면 이는 좋은 모델 성능을 의미한다.

MAPE(Mean Absolute Percentage Error)

MAPE는 상대적 오차를 추정함으로써 다양한 스케일의 예측 문제에 적용될 수 있다. 이는 모든 데이터 포인트에서의 실제값과 예측 값의 차이를 절댓값을 해당 실제 값으로 나눈 후, 100을 곱해 백분율로 표현한 값의 평균이다. 즉, 실제값 대비 얼마나 예측 값이 차이가 있는지를 %로 표현한 것이다. 이 역시 낮은 MAPE값은 좋은 모델 성능을 의미한다.

(R)MSE((Root) Mean Squared Error)

RMSE는 예측의 정확도와 함께 이상치에 얼마나 민감한지를 평가하는 지표이다. 이는 모든 데이터 포인트에서의 실제 값과 예측 값의 차이를 제곱하여 합한 후, 데이터 포인트의 수로 나눈 값의 제곱근이다. 즉, 부호의 영향을 제거하기 위해 절댓값이 아닌 제곱을 취한 지표인 셈이다. 이 지표 역시 낮을수록 좋은 모델의 성능을 의미한다. 그러나 큰 오차 값에 대해 더 큰 패널티를 부여하기 때문에 이상치가 있는 경우 RMSE 값이 더욱 높게 나타날 수 있다.

모델 평가 및 해석 순서

모델의 정성적, 정량적 성능을 체크한다.

P-Value를 확인하여 통계적으로 유의미한 변수를 추출한다.

βi(계수)를 활용해 X 변수의 1 단위 변화가 Y변수에 어떤 영향을 미치는지 판단한다.

마치며

회귀 모델을 평가하고 해석하는 것은 모델의 성능을 이해하고, 개선 방향을 찾기 위해서 필수적이다. 앞서 소개한 매거진에서 P-Value와 βi(계수) 그리고 오늘 살펴본 평가지표를 잘 활용하면 충분히 모델을 잘 평가할 수 있을 것이다. 그리고 다음 편에서는 모델의 성능을 높일 수 있는 방법 중 하나인 Feature Selection에 대해서 소개해드리고자 한다.