카카오브레인에서는 한달에 한 번씩 조그마한 내부 발표 행사를 엽니다. 저희는 그걸 미니컨이라고 불러요. 딥알못인 저도 귀동냥을 하러 들어가곤 합니다. 물론 연구원들이 무얼 말하는지 몰라서 아는 내용이 간간히 나올 때만 집중(?)을 하는 편이에요. :)
제가 글쓰는 걸 업으로 삼고 있다보니 아무래도 자연어처리 쪽 연구는 좀 더 관심있게 보고 있어요. 그러다가 지난해 10월에 열린 미니컨에서 최요중 (YJ Choe) 연구원이 발표한 내용을 듣고 "이건 외부에도 공개될 만한 가치가 있고 내가 조금만 노력하면 충분히 글로 다듬어볼 수 있겠다"는 마음에 NLU 트렌드를 콘텐츠화하게 됐습니다.
비라벨링 데이터를 사전학습한 언어 모델이 NLU 여러 과제를 푸는 데 큰 도움이 되고 있다가 이번 글의 핵심이에요. 제가 2018년 쓴 글에선 ELMo 이전의 word2vec이 최신인 줄 알았는데 정말 짧은 사이에 동향이 확 바뀌었더라고요. 그래서 어쩔 수 없이 지난 2018년부터 2년간 탄생한 다양한 언어 모델을 '아주 조금' 공부하느라 진이 빠지는 줄 알았어요.
자세한 내용은 블로그를 참조해주세요. :)
https://kakaobrain.com/blog/118