[AI박사과정과제] 역전파 레포트
하다보면 이해도 가고 적용도 가능해지겠지 ;;;
https://www.philgineer.com/2023/02/forward-forward.html역전파(Backpropagation) 알고리즘은 인공 신경망 같은 지도 학습(입력과 정답 쌍이 있는 데이터) 모델에서 학습을 시키는 대표적인 방법입니다. 쉽게 말하면, 신경망이 예측한 값이 실제 정답과 얼마나 다른지(오차)를 계산한 뒤, 이 오차가 어디에서 발생했는지 거꾸로 따라가면서 각 노드의 가중치를 조정해 주는 과정입니다.wikidocs+3
핵심 개념 한 줄 요약
정답과 예측의 차이(오차)를 계산해서, 이 오차가 발생한 만큼 가중치를 조금씩 조정하는 방법이 바로 역전파입니다.box-world.tistory+1
순서대로 풀어 설명
먼저 입력 데이터를 신경망에 집어넣어 예측값을 만듭니다. (순전파, Forward propagation).coco0414.tistory
예측값과 실제 정답의 차이(오차)를 계산합니다.yhyun225.tistory+1
이 오차가 각각의 가중치에서 얼마나 영향을 받았는지(기울기, gradient)를 수학적으로 계산합니다. 이 때 수학에서 배우는 "연쇄 법칙(Chain Rule)"을 이용합니다.taek-guen.tistory+1
계산된 기울기를 사용해서 가중치를 조금씩 조정해, 다음에 비슷한 데이터를 만났을 때 오차가 줄어들도록 만듭니다. 이 과정을 반복하면서 신경망이 점점 똑똑해집니다.mole-starseeker.tistory+1
왜 이런 과정이 필요한가?
신경망은 스스로 최적의 답을 찾아갑니다. 오차를 줄이도록 가중치를 바꿔나가는데, 사람이 직접 바꾸지 않고 컴퓨터가 수식에 따라 자동으로 이 과정을 반복합니다.metamath1.github+1
이렇게 오차를 "뒤로" 옮기며 하나씩 책임을 묻고 수정하는 것이라서 '역(逆)전파'라고 부릅니다.mole-starseeker.tistory+1
비유로 이해하기
시험을 본 뒤 틀린 문제를 복습하며 왜 틀렸는지, 어디서 실수가 있었는지 하나씩 점검해서 다음엔 같은 실수를 안 하도록 공부법을 바꾸는 것과 비슷합니다.brunch
즉, 신경망도 매번 결과를 보고 잘못된 원인을 거꾸로 추적해 가중치를 바꿔, 점차 더 정확하게 만드는 원리입니다.junimnjw.github+
이렇게 역전파 알고리즘은 신경망이 데이터를 보고 스스로 배울 수 있도록 해주는 핵심 학습 방법입니다.wikidocs+2
https://yhyun225.tistory.com/22
https://mole-starseeker.tistory.com/47
https://coco0414.tistory.com/44
https://box-world.tistory.com/19
https://taek-guen.tistory.com/33
https://sanghyu.tistory.com/101
https://metamath1.github.io/2019/06/26/backprop.html
https://brunch.co.kr/@gnpdldns2/6
https://junimnjw.github.io/%EA%B0%9C%EB%B0%9C/2019/09/16/Backpropagation.html
https://evan-moon.github.io/2018/07/19/deep-learning-backpropagation/
https://velog.io/@claude_ssim/%EA%B8%B0%EA%B3%84%ED%95%99%EC%8A%B5-Neural-Networks-2
https://www.youtube.com/watch?v=tkH7KgLZc0E
https://steelbear.tistory.com/118
https://velog.io/@ryuseunghan/Back-Propagation%EC%97%AD%EC%A0%84%ED%8C%8C
https://www.youtube.com/watch?v=DMCJ_GjBXwc
https://doomed-lab.tistory.com/41
