글 수 50

C++로 만든 형태소 분석기 - KIWI

조회 수 308 추천 수 0 2018.07.02 21:33:46


 

http://bab2min.tistory.com/560?category=686456

 

 

 

C++로 만든 형태소 분석기의 개발과정을 정리한 글입니다. 형태소 분석을 하는 방법은 먼저 사전과 미리 정의한 규칙을 사용해서 문장을 모든 가능한 형태소의 조합으로 목록을 만듭니다. 예를 들어, '디자인하여'는 다음과 같이 12개의 형태가 가능합니다.

 

디자인(NNG) *
하(VV / XSV / XSA / NNG) *
아(EC / EF / IC)

 

 

 

그리고 형태소가 레이블되어 있는 말뭉치인 코퍼스를 사용해서 각각의 목록에 대해서 확률을 계산합니다. 그리고 가장 확률이 높은 형태소 조합을 선택합니다. 마르코프 모델을 사용하기 때문에 바로 이전 형태소에만 영향을 받는다고 가정합니다.

 

(NNG 확률) * (NNG->VV 확률) * (VV->EC 확률)
(NNG 확률) * (NNG->VV 확률) * (VV->EF 확률)
...
(NNG 확률) * (NNG->XSV 확률) * (VV->EC 확률)
(NNG 확률) * (NNG->XSV 확률) * (VV->EF 확률)
...

 

 

 

< 소스코드 >
https://github.com/bab2min/Kiwi

 

< 웹 / GUI 데모 >
https://lab.bab2min.pe.kr/kiwi

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
토론하는 인공지능 - IBM Project Debater file 깊은바다 2019-01-16 21
인공지능이 법률 문서를 검토한다면? 깊은바다 2019-01-09 39
TextRank 기법을 이용한 핵심 어구 추출 및 텍스트 요약 깊은바다 2018-12-28 105
한국어 자연어처리 데이터셋 - KorQuAD 깊은바다 2018-12-21 229
자연어 관련 데이터셋 사이트 - AI 오픈 이노베이션 허브 file 깊은바다 2018-12-03 128
네이버 검색과 개인화 깊은바다 2018-11-20 88
NUGU Knowledge Base - 지식베이스 깊은바다 2018-11-10 109
텍스트 분석을 자동으로 해주는 서비스 - KoALA 깊은바다 2018-10-31 220
노가다 없이 한국어 뉴스/댓글 데이터 분석하기 깊은바다 2018-10-30 229
자연어(NLP) 처리 기초 정리 깊은바다 2018-10-22 323
무엇이든 물어보세요, 지식그래프 : 카카오미니와 검색 적용 소개 깊은바다 2018-09-27 188
우리말 자연어처리 기술 - 과거와 현재 깊은바다 2018-08-28 317
엑소브레인의 질의응답 기능 file 깊은바다 2018-08-18 192
엑소브레인 강연 자료 깊은바다 2018-07-19 205
C++로 만든 형태소 분석기 - KIWI 깊은바다 2018-07-02 308