레플리
글 수 72

메이템 가상비서 앱 자연어처리 모듈 개발

조회 수 828 추천 수 0 2019.01.31 15:25:46


unnamed.jpg

 

 

 

이번에 '메이템'이라는 인공지능 가상비서 앱에서 자연어처리를 구현하는데 외주로 참여했습니다. 크게 기능수행과 일상대화로 나누어져 있습니다.

 

기능수행에서는 일정, 알람, 날씨, 뉴스에 대한 질문을 이해하고 이를 컴퓨터가 이해할 수 있는 형식으로 변환합니다. Dialogflow 같은 챗봇 플랫폼 API를 사용하지 않고 자체적으로 개발한 자연어처리 모듈을 기반으로 합니다. 우선 mecab-ko로 형태소분석을 하고 엔티티를 추출합니다. 그다음 스크립트 파일에서 읽은 발화패턴으로 의도를 분류합니다. 마지막으로 각 의도에 따라 엔티티 정보를 조합하여 최종 결과를 json으로 생성합니다. 의도를 파악하는 것은 유사도 비교를 통해 구현하였습니다.

 

일상대화는 기능수행과 다르게 처리됩니다. 기능수행에서는 형태소 토큰별로 유사도를 검사하지만 일상대화는 캐릭터 단위로 동작합니다. 잡담의 경우 문장의 의미가 대충 비슷하기만 해도 충분하기 때문입니다. 그리고 카테고리 주제별로 대화를 나누어서 어느정도 화제가 이어지도록 하였습니다.

 

아직 베타베스트 중인데 앞으로 새로운 기능이 많이 추가될 것이라 합니다. 안드로이드 앱과 테스트 페이지는 아래 주소에서 확인하실 수 있습니다.

 

 

 

< 메이템 자연어처리 테스트 >

-> http://quizbot.pocketfriend.net:5100/test

 

< 메이템(Matem) 안드로이드 앱 >
-> https://play.google.com/store/apps/details?id=live.mala.matem


천동이

2019.02.17 12:42:49
*.38.60.84

다운받아 사용해보고 있습니다^^
List of Articles
제목 글쓴이 날짜 조회 수sort
파이썬으로 3줄 요약기 만들기 깊은바다 2018-01-19 10812
마르코프 체인을 사용한 자동 문장 생성 file 깊은바다 2017-04-05 8977
한국어 문장 분리기, KSS(Korean Sentence Splitter) 파이썬 포팅 file 깊은바다 2020-12-23 6165
한국어 채팅 데이터로 머신러닝 하기 깊은바다 2018-04-25 6086
자연어(NLP) 처리 기초 정리 깊은바다 2018-10-22 5769
자바 형태소 분석기 open-korean-txt 깊은바다 2017-04-11 5435
WordPiece와 BPE(Byte Pair Encoding) 깊은바다 2019-06-17 4742
한국어 자연어처리 데이터셋 - KorQuAD 깊은바다 2018-12-21 4725
한국어 전처리 기법 모음 깊은바다 2020-07-31 4539
빠르고 성능 좋은 형태소분석기 MeCab-Ko 깊은바다 2017-05-02 4422
문서에서 핵심 단어를 찾는 TF-IDF 알고리즘 file 깊은바다 2017-09-07 4257
한글 NLP with Python - KoNLPy 사용법 [2] 깊은바다 2017-12-08 4028
노가다 없는 텍스트 분석을 위한 한국어 NLP 깊은바다 2018-04-26 3902
한글 자모 분리 및 합치기 파이썬 패키지 [1] 깊은바다 2020-03-03 3245
TextRank 기법을 이용한 핵심 어구 추출 및 텍스트 요약 file 깊은바다 2018-12-28 3229