brunch

[AI박사과정과제] 과적합 레포트

by 션샤인
과적합.jpg


과적합(Overfitting)은 머신러닝에서 모델이 학습 데이터에 너무 지나치게 맞추어진 상태를 말합니다. 즉, 학습 데이터에서는 아주 성능이 뛰어나지만, 실제로는 보지 못한 새로운 데이터에는 성능이 크게 떨어지는 현상입니다.aws.amazon+4


쉬운 비유로 이해하기

시험 공부를 예로 들면: 족보(기출문제)만 완벽하게 외운 학생이, 실제 시험에서 전혀 새로운 문제를 만나면 답을 잘 못하는 경우와 비슷합니다.ai-inform.tistory+1

모델이 학습 데이터의 노이즈나 특이한 부분까지 외워버려서, 진짜로 알아야 할 일반적인 패턴을 제대로 배우지 못한 상태입니다.j-ho+1


과적합의 특징과 원인

학습 데이터에 대해서만 아주 높은 정확도를 보입니다.aws.amazon+1

테스트(새로운) 데이터에서는 예측력이 떨어집니다.wikidocs+1

데이터가 너무 적거나, 모델이 너무 복잡할 때 자주 발생합니다.wikidocs+1


왜 문제가 되는가?

머신러닝의 목적은 '본 적 없는 데이터'에 대해 잘 맞추는 것(일반화)인데, 과적합이 되면 이 일반화 능력이 크게 떨어집니다.ai-inform.tistory+1


방지하는 방법

데이터를 더 많이 모으기

모델을 단순하게 만들기(복잡도 줄이기)

정규화(regularization) 같은 기법 사용하기box-world.tistory+1

검증 데이터, 교차 검증 등으로 여러 데이터에 대해 반복적으로 성능 확인하기wikidocs+1

과적합은 흔히 겪는 문제이지만, 머신러닝의 성능을 높이기 위해 반드시 해결해야 하는 중요한 개념입니다.j-ho+2


https://aws.amazon.com/ko/what-is/overfitting/

https://ai-inform.tistory.com/entry/%EA%B3%BC%EC%A0%81%ED%95%A9%EC%9D%B4%EB%9E%80-%EA%B3%BC%EC%A0%81%ED%95%A9-%EC%89%AC%EC%9A%B4-%EC%84%A4%EB%AA%85-Overfitting

https://wooing1084.tistory.com/15

https://box-world.tistory.com/16

https://j-ho.dev/60/

https://wikidocs.net/120163

https://wikidocs.net/196831

https://developers.google.com/machine-learning/crash-course/overfitting/model-complexity?hl=ko

https://aistudy9314.tistory.com/14

https://www.ibm.com/kr-ko/think/topics/overfitting

https://developers.google.com/machine-learning/crash-course/overfitting/overfitting?hl=ko

https://circlezoo.tistory.com/36

https://zaezaes.tistory.com/entry/ML-Machine-Learning-%EA%B8%B0%EC%B4%88-ML-Overfitting-Underfitting-Regularization-Generalization

https://brunch.co.kr/@linecard/483

https://pipiiiiii.tistory.com/267

https://untitledtblog.tistory.com/158

https://gnidinger.tistory.com/entry/%EA%B3%BC%EC%A0%81%ED%95%A9%EA%B3%BC-%EA%B7%B8-%EB%B0%A9%EC%A7%80%EB%B2%95

https://shine2gether.tistory.com/entry/%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%82%AC%EC%9D%B4%EC%96%B8%EC%8A%A4-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-Overfitting-Underfitting-%EB%AA%A8%EB%8D%B8%ED%8F%89%EA%B0%80%EA%B8%B0%EB%B2%95

https://www.youtube.com/watch?v=cAfILI8VflU

https://jjeongil.tistory.com/981


keyword
매거진의 이전글연구계획서 제출