신경망과 딥러닝
데이터가 인공지능의 재료라면, 그 데이터를 학습하는 구조는 무엇일까.
이 질문에 대한 답이 바로 신경망(Neural Network)이다.
신경망이라는 이름은 인간의 뇌에서 아이디어를 가져왔다. 인간의 뇌에는 약 860억 개의 뉴런이 존재한다. 이 뉴런들은 서로 연결되어 정보를 전달하고 처리한다. 어떤 뉴런이 활성화되면 다른 뉴런에 신호가 전달되고, 그 과정이 반복되면서 사고와 인식이 이루어진다.
인공지능 연구자들은 이 구조에서 영감을 얻었다.
물론 컴퓨터 속 신경망이 실제 뇌와 같은 것은 아니다. 하지만 기본 아이디어는 비슷하다. 작은 계산 단위들이 서로 연결되어 정보를 처리한다는 점이다.
인공지능 신경망은 수많은 계산 노드로 이루어져 있다. 각각의 노드는 입력 데이터를 받아 간단한 계산을 하고 그 결과를 다음 노드로 전달한다. 데이터는 여러 층을 지나면서 점점 더 복잡한 특징을 학습하게 된다.
예를 들어 이미지 인식 AI를 생각해 보자.
처음 층에서는 단순한 선이나 색을 인식한다. 그 다음 층에서는 눈이나 코 같은 형태를 인식한다. 더 깊은 층에서는 얼굴이라는 구조를 인식한다. 마지막 단계에서는 “이것은 사람 얼굴이다”라는 결론에 도달한다.
이렇게 여러 층을 거쳐 데이터를 처리하는 구조를 딥러닝(Deep Learning)이라고 부른다. 이름 그대로 층이 깊은 신경망이라는 뜻이다.
신경망 연구 자체는 오래전부터 존재했다. 하지만 오랫동안 큰 성과를 내지 못했다. 그 이유는 두 가지였다.
데이터가 부족했고, 컴퓨터 성능이 충분하지 않았다.
하지만 2010년대 이후 상황이 달라졌다. 인터넷이 만들어낸 방대한 데이터와 GPU 같은 고성능 연산 장치가 등장하면서 복잡한 신경망을 학습시키는 것이 가능해졌다.
그 결과 이미지 인식, 음성 인식, 번역 같은 분야에서 인공지능 성능이 급격히 발전하기 시작했다.
오늘날 우리가 사용하는 대부분의 AI 기술은 이 신경망 기반 딥러닝 위에서 작동한다.
하지만 인공지능 연구의 역사를 보면 기술의 방향을 바꾸는 변화는 종종 예상하지 못한 곳에서 나타난다.
딥러닝이 발전한 뒤에도 연구자들은 여전히 새로운 구조를 찾고 있었다. 그리고 2017년, 한 편의 논문이 등장하면서 AI 연구의 흐름이 크게 바뀌게 된다.
그 논문의 제목은 간단했다.
“Attention Is All You Need.”
그리고 그 논문에서 등장한 구조가 바로 트랜스포머(Transformer)다.
오늘날 ChatGPT 같은 생성형 AI의 핵심 기술이다.