신경망에서 입력과 웨이트의 내적은 무엇을 의미할까

딥러닝의 본질은 단순한 계산이 아닌, 정보의 방향성을 이해하는 데 있습니다.

특히, “입력을 웨이트와 내적한다”는 것은 의미 있는 정렬과 투영의 과정입니다.

� 1. 입력과 웨이트의 내적이란?

딥러닝 모델의 한 뉴런은 다음과 같은 연산을 수행합니다:

z = wᵗ · x = w₁·x₁ + w₂·x₂ + ... + wₙ·xₙ

이 수식은 단순한 가중합처럼 보이지만, 실제로는 입력 벡터를 웨이트

벡터 방향으로 정사영(projection) 하는 과정입니다.

즉, 입력이 웨이트 방향과 얼마나 정렬(유사)되어 있는지를 수치로 계산하는 것입니다.

� 2. 왜 ‘정사영’이 중요한가?

벡터 내적(dot product)은 기하학적으로 보면 두 벡터의 방향 유사성을 측정합니다.

입력 벡터가 웨이트 방향과 잘 정렬될수록, 내적 값은 커지고

그 입력은 뉴런에서 더 중요하게 반응하게 됩니다

� 다시 말해:

“모델은 학습을 통해 웨이트의 방향을 조정하고, 그 방향과 잘 정렬된 입력에 강하게 반응한다.”

� 3. 웨이트가 크다는 건?

어떤 가중치 wᵢ가 크다면, 해당 입력 xᵢ는 모델이 중요하다고 판단한 방향입니다.

입력 xᵢ도 크고, 웨이트 wᵢ도 크다면 → 전체 출력 z에 더 큰 영향을 미칩니다.

이 z값은 활성화 함수를 통해 다음 뉴런으로 전달되죠.

모델은 이렇게 중요한 정보는 증폭시키고, 덜 중요한 정보는 억제하는 방식으로 학습합니다.

� 4. “입력이 웨이트에 사상된다”는 표현?

많이들 “입력이 웨이트에 사상된다”고 표현하지만,

정확히 말하면 입력 벡터가 웨이트 벡터 방향으로 투영(projection) 되고,

그 투영의 크기(스칼라값) 가 출력값 z로 사용되는 것입니다.

이는 수학적으로 더 정밀한 표현입니다.

✨ 마무리 인사이트

딥러닝에서의 내적은 단순 계산이 아닌, 입력과 가중치의 대화입니다.

모델은 반복 학습을 통해

어떤 방향의 정보가 중요한지를 스스로 배우고

그 방향에 잘 정렬된 입력에 더 강하게 반응하게 됩니다.

이 간단한 내적 연산 하나가

� 자연어 처리, 이미지 인식, 추천 시스템 등

딥러닝의 거의 모든 분야의 기반이라는 점, 정말 놀랍지 않나요?

� 이 글이 도움이 되셨다면

좋아요 �나 공유 �로 함께 고민을 나눠주세요!

#딥러닝 #신경망 #인공신경망 #기계학습 #AI기초 #벡터내적 #선형대수 #데이터사이언스 #AI수학