레플리
글 수 72

단어 간 유사도 파악 방법

조회 수 2855 추천 수 0 2018.02.01 03:57:33


https://brunch.co.kr/@kakao-it/189

 

 

 

머신러닝에서 자연어를 처리하려면 우선 컴퓨터가 이해할 수 있는 형식으로 변환해야 합니다. 가장 쉬운 방법은 One-Hot Encoding을 사용하는 것입니다.

 

전체 단어의 수 만큼 벡터의 차원을 만들고 각 단어마다 하나의 차원에 대입합니다. 하지만 이 방식은 벡터의 차원이 너무 커지기 때문에 학습이 힘들다는 단점이 있습니다.

 

b5dpGQQWQTWH4gL1XOTBxYiPA3w.png

 

 

 

두번째 방법은 Word Embedding으로 0, 1과 같이 두개의 값이 아니라 0~1 사이의 벡터값을 가집니다. 하나의 단어마다 각 벡터의 차원을 모두 사용하기 때문에 벡터의 크기를 작게 할 수 있습니다. 또한 비슷한 단어는 벡터의 값 역시 유사하기 때문에 학습이 더 잘된다는 장점이 있습니다.

 

예를 들어, 위와 같은 단어는 다음과 같이 표현할 수 있습니다.

과학 -> (0.5, 0.1, 0.3)

공학 -> (0.4, 0.2, 0.5)

 

 

nstxpRGVr6vxcUej4gsW8oNXk3s.png

위의 글에서 카카오브레인이 만든 WordWeb이라는 것을 소개하고 있습니다. 워드 임베딩을 사용해서 입력으로 받은 단어와 비슷한 뜻을 가진 단어를 보여주는 기능입니다.

 

아래 링크에서 직접 테스트 할 수 있습니다.

-> http://ling.kakaobrain.com/wordweb

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
스마트 스피커에서의 음악 재생 발화 오류 교정 file 깊은바다 2019-03-28 407
인간의 언어를 이해하는 기계, NLU에는 어떤 것이 있을까? 깊은바다 2020-06-05 417
엑소브레인 강연 자료 깊은바다 2018-07-19 423
차원이 다른 구글 번역기의 도래 깊은바다 2017-02-28 427
기계번역기의 발전과 역사 깊은바다 2018-05-10 476
윈도우에서 간편하게 Mecab 설치방법 - pyeunjeon 깊은바다 2021-06-15 500
엑소브레인의 질의응답 기능 file 깊은바다 2018-08-18 526
예일대의 자연어-SQL 데이터셋, Spider 깊은바다 2020-07-12 531
자연어처리 벤치마크인 SuperGLUE도 인간의 기록을 경신 [1] 깊은바다 2021-01-21 550
모두의 말뭉치에 새로운 일상 대화 추가 file 깊은바다 2021-04-06 562
토론하는 인공지능 - IBM Project Debater file 깊은바다 2019-01-16 579
네이버 검색과 개인화 깊은바다 2018-11-20 619
IBM 왓슨의 자연어처리 방식 깊은바다 2020-06-26 626
엑소브레인 자연어 질의응답 기술 file 깊은바다 2018-03-25 627
클로바 Interaction Model의 이해 및 설계/제작 노하우 - 자연어처리 방법 깊은바다 2018-06-06 642