글 수 181

한국어 형태소 분석기 성능 비교 - khaiii

조회 수 1355 추천 수 0 2018.12.10 17:39:07


https://iostream.tistory.com/144?fbclid=IwAR3FX3lo2njXmTPYyPdsBJhk_KdfRPVLjPcwH70wo31z-GSkNikzQUNyLm8

 

 

 

최근에 공개된 카카오의 딥러닝 형태소분석기와 다른 제품들을 비교한 글입니다. 특히 띄어쓰기에서 가장 많은 차이를 보이고 있습니다.

 

한글은 영어와 다르게 단어들이 붙어있어도 대부분 독해가 가능합니다. 그래서 구어체(특히 카톡같은 메신저에서)는 띄어쓰기를 생략하는 경우가 아주 많습니다. 제가 mecab을 쓰는 이유가 속도가 빨라서이기도 하지만 띄어쓰기 여부에 상관없이 형태소분석이 잘 되기 때문입니다.

 

khaiii는 한글자 단위로 입력이 들어가는데 빈칸도 하나의 캐릭터로 처리합니다. 그래서 사전기반의 다른 형태소분석기와 다르게 띄어쓰기 처리가 전혀 안된다는 단점이 있습니다. 실제로 현업에 사용하기 위해서는 이에 대한 기능이 반드시 필요할 듯 합니다. 앞으로 지속적인 업데이트가 될거라 생각합니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
워드 임베딩에 대한 아주 쉬운 설명 - The Illustrated Word2vec 깊은바다 2019-04-09 653
대화 인공지능 대회 - ConvAI file 깊은바다 2019-03-25 596
문장의 유사성을 예측하고 평가하는 AI - 카카오 심슨 깊은바다 2019-03-20 1379
OpenAI Transformer GPT2로 만든 언어 모델 깊은바다 2019-02-17 2921
텐서플로에서 사전 훈련된 임베딩을 사용하는 예제 깊은바다 2019-02-02 437
목적지향 대화 학습 - Learning End-to-End Goal-Oriented Dialog file 깊은바다 2019-02-02 1008
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트 file 깊은바다 2019-01-28 5900
Word2Vec의 학습 방식 깊은바다 2019-01-17 853
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 937
딥러닝 자연어처리 - RNN에서 BERT까지 [2] 깊은바다 2019-01-07 1678
BERT를 이용한 챗봇 구현 file 깊은바다 2019-01-07 3891
사전훈련 자연어처리 모델의 발전과정 - The Illustrated BERT, ELMo, and co. 깊은바다 2019-01-01 1309
2018 Amazon Prize에서 우승한 Gunrock 소셜봇 file 깊은바다 2018-12-26 499
BERT 톺아보기 깊은바다 2018-12-17 24026
한국어 형태소 분석기 성능 비교 - khaiii 깊은바다 2018-12-10 1355