학습 모델의 평가, 편향과 분산

앞서 모델 학습은 경사하강법(Gradient Descent)을 통해 평균제곱오차(MSE, Meas Squared Error)로 정의된 손실함수를 최소화하는 방향으로 진행되었다. 동일하게, 학습된 모델을 최종적으로 평가할 때에도 MSE를 활용할 수 있다.

앞서 모델 학습은 경사하강법(Gradient Descent)을 통해 평균제곱오차(MSE, Mean Squared Error)로 정의된 손실함수를 최소화하는 방향으로 진행되었다. 동일하게, 학습된 모델을 최종적으로 평가할 때에도 MSE를 활용할 수 있다.

1. MSE 정의

ε(irreducible noise): 데이터 본질의 변동성, 측정 오차, 특성의 불완전성, 시스템의 비결정성(stochasticity) 등을 포괄

2. MSE 전개 & 독립성 가정 적용

3. 최종 식

첫 번째 항: Bias² (편향 제곱)

편향: 예측의 기대값과 실제 값의 차이 모델이 실제 데이터에서 얼마나 일관되게 벗어나 있는지 모델이 실제에 비해 단순한 경우

두 번째 항: Variance (분산 = 편차²의 기대값)

분산: 개별 예측값이 예측의 기대값에서 얼마나 떨어져 있는지 모델이 실제에 비해 복잡한 경우 또는 학습 데이터에 과적합