레플리
글 수 293

한국어 형태소 분석기 성능 비교 - khaiii

조회 수 1484 추천 수 0 2018.12.10 17:39:07
깊은바다 *.203.215.247


https://iostream.tistory.com/144?fbclid=IwAR3FX3lo2njXmTPYyPdsBJhk_KdfRPVLjPcwH70wo31z-GSkNikzQUNyLm8

 

 

 

최근에 공개된 카카오의 딥러닝 형태소분석기와 다른 제품들을 비교한 글입니다. 특히 띄어쓰기에서 가장 많은 차이를 보이고 있습니다.

 

한글은 영어와 다르게 단어들이 붙어있어도 대부분 독해가 가능합니다. 그래서 구어체(특히 카톡같은 메신저에서)는 띄어쓰기를 생략하는 경우가 아주 많습니다. 제가 mecab을 쓰는 이유가 속도가 빨라서이기도 하지만 띄어쓰기 여부에 상관없이 형태소분석이 잘 되기 때문입니다.

 

khaiii는 한글자 단위로 입력이 들어가는데 빈칸도 하나의 캐릭터로 처리합니다. 그래서 사전기반의 다른 형태소분석기와 다르게 띄어쓰기 처리가 전혀 안된다는 단점이 있습니다. 실제로 현업에 사용하기 위해서는 이에 대한 기능이 반드시 필요할 듯 합니다. 앞으로 지속적인 업데이트가 될거라 생각합니다.

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 1327
딥러닝 자연어처리 - RNN에서 BERT까지 [2] 깊은바다 2019-01-07 1835
BERT를 이용한 챗봇 구현 file 깊은바다 2019-01-07 4172
사전훈련 자연어처리 모델의 발전과정 - The Illustrated BERT, ELMo, and co. 깊은바다 2019-01-01 1424
2018 Amazon Prize에서 우승한 Gunrock 소셜봇 file 깊은바다 2018-12-26 591
BERT 톺아보기 깊은바다 2018-12-17 26575
한국어 형태소 분석기 성능 비교 - khaiii 깊은바다 2018-12-10 1484
카카오 형태소 분석기(khaiii) 설치와 은전한닢(mecab) 형태소 분석기 비교 깊은바다 2018-12-02 2855
카카오의 딥러닝 기반 형태소 분석기 깊은바다 2018-11-30 516
위키정보를 찾아 잡담을 하는 딥러닝 모델 - Wizard Of Wikipedia file 깊은바다 2018-11-29 943
구글 듀플렉스(Duplex) 상용화 시작 [2] 깊은바다 2018-11-26 669
딥러닝 자연어처리 튜토리얼 - DLK2NLP [1] 깊은바다 2018-11-24 1242
커뮤니케이션과 AI - Multi-channel CNN을 이용한 한국어 감성분석 깊은바다 2018-11-22 1187
개체명인식 with Naver 깊은바다 2018-11-20 2351
사전학습을 통한 구글의 자연어처리 언어 모델 - BERT file 깊은바다 2018-11-03 4337
목록
쓰기