중요한 단어에 더 많이 ‘주목(attention)’하여 가중치를 부여하는 자연어처리모델이 ‘어텐션’ 모델이다. 어텐션을 핵심 알고리즘으로 삼은 트랜스포머(transformer) 기반 번역 모델이 당대 최고의 모델이다. 현재 최고의 모델인 BERT와 GPT-3는 트랜스포머(transformer)를 기반으로 진화한 번역모델이다. 이처럼 ‘의미 있는 정보추출’을 하기 위한 자연어처리의 역사에 대해 탐구해 보자. 자연어 처리(NLP)와 관련하여 추천하는 웹, 동영상, 책은 아래와 같다.
https://wikidocs.net/book/2155
https://github.com/ukairia777/tensorflow-nlp-tutorial