Jean

[NLP 논문 리뷰]3 다국어 워드 임베딩 - Using Lexical Definitions

Jean — Thu, 09 Mar 2023 06:42:18 GMT

지난 글에서는 Image-Text data를 사용한 multilingual word embedding 관련 논문을 리뷰했는데, 이번에는 단어 사전을 사용한 bilingual word embedding 관련 논문을 리뷰해보고자 한다. Image-Text data가 어떻게 word-aligned/sentence aligned data를 대체할 수 있는지는 아래

[NLP 논문 리뷰]2 다국어 워드 임베딩 - Using Image-Text Data

Jean — Tue, 07 Mar 2023 16:19:08 GMT

다국어 워드 임베딩(Multilingual Word Embedding)이란, 두 개 이상의 언어를 한 개의 임베딩 스페이스에 위치시키는 작업이다. Multilingual Word Embedding을 위해서 필요한 데이터는 여러 언어가 쌍으로 되어있는 병렬적인(parallel) 데이터다. 쉽게 말하자면, 영어 문장과 그것을 완벽하게 변역한 한국어 문장을 한

[NLP]Attention이란

Jean — Thu, 23 Feb 2023 08:14:12 GMT

기존 RNN의 문제를 많이 해결하고 기계 번역 성능 향상에 큰 기여를 한 Sequence to Sequence 모델도 한계를 가지고 있다. Sequence to Sequence가 무엇인지는 아래 글에서 확인하기 바란다. Sequence to Sequence의 핵심은 source sentence를 고정된 크기의 벡터로 표현하고, 이를 디코더에 사용한다는

[NLP 논문 리뷰]1 Seq2Seq - Seq2Seq Learning with NN

Jean — Thu, 09 Feb 2023 11:02:16 GMT

2014년 NIPS에 발표된 "Sequence to Sequence Learning with Neural Networks"는 가히 기계 번역의 패러다임을 바꾸었다. Seq2Seq의 가장 큰 특징은 source language의 문장 즉, sequence를 통째로 모델에 집어넣은 후 target language의 sequence를 통째로 뱉어낸다는 점