인공신경망의 종류_2
단층퍼셉트론/다층퍼셉트론/DNN
이전 글에서 공유드렸던 인공신경망 중, '순방향신경망(FNN; Feed-Forward Neural Network)'의 대표적인 퍼셉트론(Perceptron)과 DNN(Deep Neural Network)에 대해 공유드리겠습니다.
1. 단층퍼셉트론
#입력층 #가중치 #출력층 #inputLayer #weight #outputLayer
단층퍼셉트론퍼셉트론은 피드포워드신경망(순방향신경망)중 하나입니다. 1957년, 코넬 항공연구소의 프랑크 로젠블란트에 의해 고안되었습니다. 위 그림처럼 초기의 퍼셉트론은 입력층(input layer)와 출력층(output layer)로 구성됩니다. 출력층에 해당되는 부분이 곧 인공뉴런에 해당하며, 하나의 층으로 이루어져 있어 '단층 퍼셉트론'이라고 합니다.
위 그림에서 보시면, 각 입력값은 가중치(�₁)값을 갖게 되는데 가중치가 클수록 중요도가 높아집니다.
**퍼셉트론을 이해하기 위한 간단 용어정리
1. 가중치(Weight): 노드(입력값)에 대한 중요도를 달리함. 입력값마다 가중치가 있고, 이 가중치가 클수록 중요도가 높음.
2. 편향(Bias): 노드의 민감도 혹은 활성화를 조정하는 역할. 가중치만으로는 세밀한 조정이 어려울 때 편향을 통해 조정할 수 있음.
단, 이 단층 퍼셉트론은 AND, OR, NAND등 간단한 연산만 가능하기에, 배타적 논리합(XOR연산)과 같이 복잡한 연산은 처리할 수 없습니다.
AND, OR, NAND 연산의 의미배타적 논리합에 대해 간략히 설명드리면, 두 명제 중 하나의 명제만 참일 경우를 판단하는 논리연산입니다.
>>배타적 논리합 예시
명제A: "내 키는 160cm 이상이다."
명제B: "내 몸무게는 60kg 미만이다."
→내 키는 160cm이상이고, 내 몸무게는 60kg 이상이다.
→내 키는 160cm미만이고, 내 몸무게는 60kg 미만이다.
두 명제의 교집합 = 0일때 배타적 논리합은 논리합(적어도 1개 이상의 참이 있는지를 나타내는 논리연산)과 동일하게 됨.
즉, "내 키는 160cm이다."와 "내 키는 170cm이다." 두 명제가 동시에 성립할 수 없음.
∴ "내 키는 160cm와 170cm중 하나이다." 라는 명제가 성립함.
2. 다층 퍼셉트론(MLP; Multi-Layer Perceptron)
#은닉층 #전결합층 #hiddenLayer #fully-ConnetedLayer #FC
이처럼 단층 퍼셉트론에서는 해결할 수 없었던 복잡한 문제를 해결하기 위해 등장한 신경망이 퍼셉트론의 층을 여러개로 쌓은 다층 퍼셉트론입니다.
다층퍼셉트론단층퍼셉트론과 가장 큰 차이점으로는, '은닉층'이 여러개로 구성되어 있다는 것입니다. 즉, 더 복잡하고 어려운 연산을 처리하기 위해 필요에 따라 이 은닉층을 추가할 수 있습니다.
이때 은닉층과 출력층에 있는 모든 뉴런들은 이전 뉴런들과 모두 연결되어 있습니다. 이를 '전결합층(FC; Fully-Conneted Layer)'라고 합니다.
3. DNN(Deep Neural Network)
#학습 #훈련 #딥러닝 #Learning #Training #DeepLearning
DNN이란, 다층퍼셉트론처럼 은닉층(hidden layer)이 2개이상으로 구성된 심층신경망을 의미합니다. 이전에는 가중치를 직접 수동으로 조정하여 값을 찾았다고 하면, 심층신경망은 스스로 정답을 찾게 하기 위한 '학습' 및 '훈련'단계를 거치게 됩니다. 이 학습시키는 인공신경망이 2개 이상의 은닉층으로 구성될 때, 심층신경망을 학습시킨다고 하여 '딥러닝(Deep learning)'이라고 합니다.
[참고자료]
1. 위키독스, 딥러닝을 이용한 자연어처리 입문 https://wikidocs.net/24958
2. 위키백과, 배타적 논리합 https://ko.wikipedia.org/wiki/%EB%B0%B0%ED%83%80%EC%A0%81_%EB%85%BC%EB%A6%AC%ED%95%A9
3. 위키피디아, Perceptron https://en.wikipedia.org/wiki/Perceptron
4. Medium, Deep Neural Network(DNN) Explained https://medium.com/@zomev/deep-neural-network-dnn-explained-0f7311a0e869
5. Velog, 딥러닝 이론 정리1(퍼셉트론구조, 연산, 가중치와 편향, 활성화함수) https://velog.io/@dlskawns/Deep-Learning-%EB%94%A5%EB%9F%AC%EB%8B%9D-%EC%9D%B4%EB%A1%A0-%EC%A0%95%EB%A6%AC-1
