레플리
글 수 281

한국어 형태소 분석기 성능 비교 - khaiii

조회 수 1444 추천 수 0 2018.12.10 17:39:07


https://iostream.tistory.com/144?fbclid=IwAR3FX3lo2njXmTPYyPdsBJhk_KdfRPVLjPcwH70wo31z-GSkNikzQUNyLm8

 

 

 

최근에 공개된 카카오의 딥러닝 형태소분석기와 다른 제품들을 비교한 글입니다. 특히 띄어쓰기에서 가장 많은 차이를 보이고 있습니다.

 

한글은 영어와 다르게 단어들이 붙어있어도 대부분 독해가 가능합니다. 그래서 구어체(특히 카톡같은 메신저에서)는 띄어쓰기를 생략하는 경우가 아주 많습니다. 제가 mecab을 쓰는 이유가 속도가 빨라서이기도 하지만 띄어쓰기 여부에 상관없이 형태소분석이 잘 되기 때문입니다.

 

khaiii는 한글자 단위로 입력이 들어가는데 빈칸도 하나의 캐릭터로 처리합니다. 그래서 사전기반의 다른 형태소분석기와 다르게 띄어쓰기 처리가 전혀 안된다는 단점이 있습니다. 실제로 현업에 사용하기 위해서는 이에 대한 기능이 반드시 필요할 듯 합니다. 앞으로 지속적인 업데이트가 될거라 생각합니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
목적지향 대화 학습 - Learning End-to-End Goal-Oriented Dialog file 깊은바다 2019-02-02 1595
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트 file 깊은바다 2019-01-28 6163
Word2Vec의 학습 방식 깊은바다 2019-01-17 896
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 1182
딥러닝 자연어처리 - RNN에서 BERT까지 [2] 깊은바다 2019-01-07 1751
BERT를 이용한 챗봇 구현 file 깊은바다 2019-01-07 4110
사전훈련 자연어처리 모델의 발전과정 - The Illustrated BERT, ELMo, and co. 깊은바다 2019-01-01 1364
2018 Amazon Prize에서 우승한 Gunrock 소셜봇 file 깊은바다 2018-12-26 557
BERT 톺아보기 깊은바다 2018-12-17 26387
한국어 형태소 분석기 성능 비교 - khaiii 깊은바다 2018-12-10 1444
카카오 형태소 분석기(khaiii) 설치와 은전한닢(mecab) 형태소 분석기 비교 깊은바다 2018-12-02 2828
카카오의 딥러닝 기반 형태소 분석기 깊은바다 2018-11-30 497
위키정보를 찾아 잡담을 하는 딥러닝 모델 - Wizard Of Wikipedia file 깊은바다 2018-11-29 896
구글 듀플렉스(Duplex) 상용화 시작 [2] 깊은바다 2018-11-26 644
딥러닝 자연어처리 튜토리얼 - DLK2NLP [1] 깊은바다 2018-11-24 1220