14. Autoencoders & GM

Autoencoder

 - 입력을 그대로 모사하는 것을 목적으로 하는 신경망

- g(f(x))=x

- 여기서, f(x) : 인코더 => hidden representation으로 학습

- g(f(x)) => 디코더 !

- 손실함수를 정의해 최소화하는 방식

: 연속형 : 최소제곱법

: 이산형 : 크로스엔트로피

- 목적 :입력데이터를 잘 '표현'하려는 목적

- 차원축소, 특징학습에 이용

Trae-off

- 모델의 복잡도 늘리면 입력 완벽표현, but 의미있는 hiden representation 어려움 => 오버피팅

- 모델의 복잡도 감소시키면 입력 완벽하게 재현 X but 의미있는 hidden representation 찾게됨

-> 오버피팅 방지해야!

Linear auto encoder

- activation function 선형함수일경우 PCA랑 동일

 -

Regularization

- 적절한 정규화

 -표현의 희소성, 강건성 등을 표현가능

 - 손실함수 : 복원오차 + 정규화항

 - sparse autoencoder (L1norm)

- denoising autoencoder (노이즈 인풋)

Anomaly detection

: 오토인코더를 잘 학습한다면, reconstruction에 의해 이질성판단가능.

- threshold가 n보다 큰경우 아노말리로 간주 ! 다른데이터랑 다른 성질

- 일종의 다양체 학습 가능

Deep/Stacked Auto encoder

Greedy layer wise pretraining

: 학습 문제 해결 위해 weight의 초기값 구축하는 것

ㅎ-