레플리
글 수 72

빠르고 성능 좋은 형태소분석기 MeCab-Ko

조회 수 4422 추천 수 0 2017.05.02 04:31:26


https://bitbucket.org/eunjeon/mecab-ko/

 

 

 

한글 형태소 분석기 중에서 가장 빠르고 정확하게 분석하는 프로그램이 아닐까 합니다.

예를 들어 '난책읽고싶어'라는 문장을 여러 형태소분석기로 처리를 해보았습니다.

 

 

 

< MeCab-Ko >

 

난책읽고싶어
난      NP+JX,*,T,난,Inflect,NP,JX,나/NP/*+ᆫ/JX/*
책      NNG,*,T,책,*,*,*,*
읽      VV,*,T,읽,*,*,*,*
고      EC,*,F,고,*,*,*,*
싶      VX,*,T,싶,*,*,*,*
어      EC,*,F,어,*,*,*,*
 

 

 

< open-korean-text >

 

[ "난책*(Noun: 0, 2)",

"읽고(Verb: 2, 2)",

"싶(PreEomi: 4, 1)",

"어(Eomi: 5, 1)" ]

 

 

 

< 국민대 KMA >

 

(N "난책읽고싶어")< :60>

 

 

 

'난' 같은 한글자 처리가 제대로 되는것은 MeCab-Ko가 유일합니다.

한글은 띄어쓰기를 잘 안하는 사람들이 많아서 이런 부분이 특히 중요합니다.

 

다만 C++로 되어 있어도 윈도우는 지원되지 않는게 아쉽네요.

윈도우에서 빌드하는 방법도 있는 것 같은데 좀 더 알아봐야 겠습니다.

 

 

 

< 챗봇 개발자 모임 >

- 페이스북 그룹에 가입하시면 챗봇에 대한 최신 정보를 쉽게 받으실 수 있습니다.

https://www.facebook.com/groups/ChatbotDevKR/

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
파이썬으로 3줄 요약기 만들기 깊은바다 2018-01-19 10808
마르코프 체인을 사용한 자동 문장 생성 file 깊은바다 2017-04-05 8976
한국어 문장 분리기, KSS(Korean Sentence Splitter) 파이썬 포팅 file 깊은바다 2020-12-23 6152
한국어 채팅 데이터로 머신러닝 하기 깊은바다 2018-04-25 6086
자연어(NLP) 처리 기초 정리 깊은바다 2018-10-22 5766
자바 형태소 분석기 open-korean-txt 깊은바다 2017-04-11 5431
WordPiece와 BPE(Byte Pair Encoding) 깊은바다 2019-06-17 4735
한국어 자연어처리 데이터셋 - KorQuAD 깊은바다 2018-12-21 4724
한국어 전처리 기법 모음 깊은바다 2020-07-31 4539
빠르고 성능 좋은 형태소분석기 MeCab-Ko 깊은바다 2017-05-02 4422
문서에서 핵심 단어를 찾는 TF-IDF 알고리즘 file 깊은바다 2017-09-07 4253
한글 NLP with Python - KoNLPy 사용법 [2] 깊은바다 2017-12-08 4028
노가다 없는 텍스트 분석을 위한 한국어 NLP 깊은바다 2018-04-26 3902
한글 자모 분리 및 합치기 파이썬 패키지 [1] 깊은바다 2020-03-03 3241
TextRank 기법을 이용한 핵심 어구 추출 및 텍스트 요약 file 깊은바다 2018-12-28 3228