글 수 181

Word2Vec의 학습 방식

조회 수 853 추천 수 0 2019.01.17 23:56:07


 

https://ratsgo.github.io/from%20frequency%20to%20semantics/2017/03/30/word2vec/

 

 

 

Word2Vec에 대해서 자세히 알려주는 글입니다. 학습방식에 따라 CBOW와 Skip-gram이 있는데, 여기서는 후자를 기준으로 설명하고 있습니다.

 

Skip-gram은 중심단어로 주변단어를 예측하도록 학습합니다. 우선 위키피디아 같은 코퍼스에서 특정 윈도우(중심단어에서 왼쪽, 오른쪽 범위) 만큼 입력과 출력 단어를 뽑아냅니다.

 

 

 

나는 너를 너무 사랑해 정말로 (중심단어:너무, 윈도우:2)
-> (너무, 나는)
-> (너무, 너를)
-> (너무, 사랑해)
-> (너무, 정말로)

 

이렇게 학습 데이터를 만들고 트레이닝을 하면 비슷한 의미를 가진 단어들은 가중치의 값이 유사하게 수렴합니다. 문맥을 통해서 단어들의 의미를 파악한다고 볼 수 있습니다.

 

 

 

그런데 문제는 단어의 개수가 많을 수록 학습시간이 오래 걸린다는 점입니다. 입력과 출력이 one-hot 인코딩이기 때문에 단어의 수만큼 가중치 연결이 늘어납니다.

 

이를 해결하기 위한 첫 번째 방법은 subsampling입니다. 자주 나오는 단어일수록 높은 확률로 학습에서 제외시킵니다. 두 번째는 negative sampling으로 정답인 positive 샘플 하나와 정답이 아닌 negative 샘플 몇 십개만 뽑아서 선택적으로 가중치를 업데이트 합니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
워드 임베딩에 대한 아주 쉬운 설명 - The Illustrated Word2vec 깊은바다 2019-04-09 653
대화 인공지능 대회 - ConvAI file 깊은바다 2019-03-25 596
문장의 유사성을 예측하고 평가하는 AI - 카카오 심슨 깊은바다 2019-03-20 1379
OpenAI Transformer GPT2로 만든 언어 모델 깊은바다 2019-02-17 2921
텐서플로에서 사전 훈련된 임베딩을 사용하는 예제 깊은바다 2019-02-02 437
목적지향 대화 학습 - Learning End-to-End Goal-Oriented Dialog file 깊은바다 2019-02-02 1008
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트 file 깊은바다 2019-01-28 5900
Word2Vec의 학습 방식 깊은바다 2019-01-17 853
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 937
딥러닝 자연어처리 - RNN에서 BERT까지 [2] 깊은바다 2019-01-07 1678
BERT를 이용한 챗봇 구현 file 깊은바다 2019-01-07 3891
사전훈련 자연어처리 모델의 발전과정 - The Illustrated BERT, ELMo, and co. 깊은바다 2019-01-01 1309
2018 Amazon Prize에서 우승한 Gunrock 소셜봇 file 깊은바다 2018-12-26 499
BERT 톺아보기 깊은바다 2018-12-17 24026
한국어 형태소 분석기 성능 비교 - khaiii 깊은바다 2018-12-10 1355