레플리
글 수 281

한국어 형태소 분석기 성능 비교 - khaiii

조회 수 1444 추천 수 0 2018.12.10 17:39:07


https://iostream.tistory.com/144?fbclid=IwAR3FX3lo2njXmTPYyPdsBJhk_KdfRPVLjPcwH70wo31z-GSkNikzQUNyLm8

 

 

 

최근에 공개된 카카오의 딥러닝 형태소분석기와 다른 제품들을 비교한 글입니다. 특히 띄어쓰기에서 가장 많은 차이를 보이고 있습니다.

 

한글은 영어와 다르게 단어들이 붙어있어도 대부분 독해가 가능합니다. 그래서 구어체(특히 카톡같은 메신저에서)는 띄어쓰기를 생략하는 경우가 아주 많습니다. 제가 mecab을 쓰는 이유가 속도가 빨라서이기도 하지만 띄어쓰기 여부에 상관없이 형태소분석이 잘 되기 때문입니다.

 

khaiii는 한글자 단위로 입력이 들어가는데 빈칸도 하나의 캐릭터로 처리합니다. 그래서 사전기반의 다른 형태소분석기와 다르게 띄어쓰기 처리가 전혀 안된다는 단점이 있습니다. 실제로 현업에 사용하기 위해서는 이에 대한 기능이 반드시 필요할 듯 합니다. 앞으로 지속적인 업데이트가 될거라 생각합니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
ChatGPT 2달만에 누적 사용자 1억명 돌파 깊은바다 2023-02-03 88
ChatGPT 톺아보기 - 인공지능의 역사부터 신경망, 초거대AI, ChatGPT까지 file 깊은바다 2023-02-01 310
ChatGPT 한글 자동번역 크롬 확장프로그램 깊은바다 2023-01-17 1846
Koko 심리상담 서비스에서 GPT-3 대답 추천 기능을 도입 file 깊은바다 2023-01-11 296
ChatGPT보다 한글을 더 잘 대답하는 모델 - Claude file 깊은바다 2023-01-10 815
ChatGPT와 유사한 서비스 - Chatsonic file 깊은바다 2023-01-09 793
페이지링크와 ChatGPT 대화를 동시에 지원하는 검색엔진 - You.com 깊은바다 2022-12-27 235
ChatGPT에게 챗봇을 만들어보라고 해봤습니다 file 깊은바다 2022-12-26 412
ChatGPT는 새로운 검색엔진이 될까 file 깊은바다 2022-12-06 506
OpenAI의 대화전용 딥러닝 모델 - ChatGPT file 깊은바다 2022-12-02 964
네이버의 초거대모델인 하이퍼클로바 가격 공개 깊은바다 2022-08-24 1815
유저 피드백을 받아 지속적으로 학습을 하는 챗봇 - BlenderBot 3 file 깊은바다 2022-08-06 1135
최신 자연어처리 모델 소개 file 깊은바다 2022-07-11 1172
러시아의 구글 얀덱스, 100B 초거대모델 무료 공개 깊은바다 2022-06-26 804
구글의 초거대모델 PaLM의 추론과 상식 능력 file 깊은바다 2022-05-20 837