레플리
글 수 72

노가다 없는 텍스트 분석을 위한 한국어 NLP

조회 수 3902 추천 수 0 2018.04.26 15:54:50


Cohesion (Character n-gram)
• 단어의 점수(cohesion)를 아래처럼 구현해 봅니다
def cohesion(w):
return pow(count[w]/count[w[0]],
1/(len(w)-1...

 

https://www.slideshare.net/kimhyunjoonglovit/pycon2017-koreannlp

 

 

 

이전에 소개한 '한국어 채팅 데이터로 머신러닝하기'에서 사용된 cohesion tokenizer(결합 토크나이저)에 대해 자세히 설명한 슬라이드입니다. 토크나이저는 문장을 최소 의미 단위로 분리하는 역할을 합니다. 보통은 형태소분석기를 사용하는데 문제는 사전에 없는 단어가 있을 경우입니다.

 

강다니엘은 워너원의 멤버
-> 강+다니엘+은+워너+원+의+멤버

 

'강다니엘'과 '워너원'은 하나의 토큰으로 분리가 되어야 이후 자연어처리가 용이합니다. 이를 위해서는 사람이 일일이 새로운 단어를 형태소분석기의 사전에 추가해야합니다.

 

 

 

이런 노가다 작업을 cohesion 기법을 사용해서 자동으로 수행할 수 있다고 합니다. 텍스트로 구성된 코퍼스 데이터에서 통계적인 방법을 통해 단어를 구분하는 방법입니다.

 

워너원은 멋져
워너원의 멤버
워너원 좋아해
...

 

위의 문장에서 워너원+(은/의/좋) 처럼 '워너원'과 다음 글자가 나누어지는 것을 확률로 판단하는 것입니다. 정제된 문서가 아닌 일상 대화 위주의 문장이라면 이런 기법이 유용하게 사용될 것 같습니다.

 

 

 

아래 링크에서 소스 코드를 참조하실 수 있습니다.
-> https://github.com/lovit/soynlp

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
노가다 없이 한국어 뉴스/댓글 데이터 분석하기 깊은바다 2018-10-30 3094
자연어(NLP) 처리 기초 정리 깊은바다 2018-10-22 5766
무엇이든 물어보세요, 지식그래프 : 카카오미니와 검색 적용 소개 깊은바다 2018-09-27 663
우리말 자연어처리 기술 - 과거와 현재 깊은바다 2018-08-28 860
엑소브레인의 질의응답 기능 file 깊은바다 2018-08-18 526
엑소브레인 강연 자료 깊은바다 2018-07-19 423
C++로 만든 형태소 분석기 - KIWI 깊은바다 2018-07-02 1130
간편한 토픽 모델링 툴 Tomoto Gui 깊은바다 2018-06-14 1441
클로바 Interaction Model의 이해 및 설계/제작 노하우 - 자연어처리 방법 깊은바다 2018-06-06 640
SentiWordNet과 감성분석 깊은바다 2018-06-04 1456
한국어 오픈소스 자연어처리 라이브러리 - Koshort 깊은바다 2018-05-20 2937
기계번역기의 발전과 역사 깊은바다 2018-05-10 476
소셜 미디어 감성분석을 통한 주가 예측 깊은바다 2018-04-28 1158
노가다 없는 텍스트 분석을 위한 한국어 NLP 깊은바다 2018-04-26 3902
한국어 채팅 데이터로 머신러닝 하기 깊은바다 2018-04-25 6086