레플리
글 수 284

Java에서 Word2vec 사용하기

조회 수 1569 추천 수 0 2018.05.05 18:26:52
깊은바다 *.68.247.188


Alt text

 

https://deeplearning4j.org/kr/word2vec

 

 

 

Deeplearning4j는 자바를 위한 딥러닝 라이브러리입니다. 여기서 사용할 수 있는 Word2vec 클래스에 대한 문서인데 자세히 설명되어 있어 도움이 될 것 같습니다.

 

Word2vec는 단어를 숫자로 이루어진 벡터로 변경하는 방법으로 딥러닝 자연어처리에 기본이 됩니다. 크게 CBOW(Continuous Bag of Words)와 Skip-gram 방식으로 나누어집니다. CBOW는 주변 단어로 현재 단어를 예측하고, Skip-gram은 반대로 현재 단어로 주변 단어를 결정합니다.

 

< CBOW >
나는 너를 사랑해
(나는, 사랑해) -> 너를

 

< Skip-gram >
나는 너를 사랑해
(너를) -> 나는
(너를) -> 사랑해

 

 

 

이렇게 데이터셋을 만들어 학습을 하고 생성된 가중치가 각 단어의 벡터값이 됩니다. 데이터셋 문장들에서 주변에 있는 단어들은 유사한 의미를 갖고 있을 가능성이 높습니다. 그래서 비슷한 의미의 단어들은 벡터값 역시 유사하게 나옵니다.

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
페이스북이 발표한 사전훈련 언어모델 RoBERTa file 깊은바다 2019-07-30 1429
GPT-4의 특징 정리 file 깊은바다 2023-03-15 1414
GPT-3보다 3배 더 큰 구글의 초거대모델, PaLM file 깊은바다 2022-04-07 1408
소설 쓰는 딥러닝 file 깊은바다 2018-08-31 1388
GPT-3, InstructGPT, GPT-3.5, ChatGPT의 차이점 깊은바다 2023-04-05 1383
핑퐁의 리액션 모델 - Dialog-BERT 만들기 깊은바다 2020-01-28 1381
사전훈련 자연어처리 모델의 발전과정 - The Illustrated BERT, ELMo, and co. 깊은바다 2019-01-01 1379
RNN seq2seq 간단한 대화모델 깊은바다 2018-10-23 1366
교육용 챗봇의 미래!? 구글 람다 (LaMDA) 깊은바다 2022-03-11 1362
구글의 대화기반 초거대모델 LaMDA, 논문 공개 file 깊은바다 2022-02-08 1361
ChatGPT의 가장 큰 특징인 in-context learning file 깊은바다 2023-02-21 1361
RAG 아키텍처의 이해 깊은바다 2023-07-23 1338
딥러닝 자연어처리 튜토리얼 - DLK2NLP [1] 깊은바다 2018-11-24 1221
LLM 챗봇의 특징 2가지 - RAG와 Function 깊은바다 2023-07-06 1215
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 1200
목록
쓰기