글 수 35


16 / 48
NLU 기술: 기계 학습
‘빌드’ 과정 중에는 무엇을 할까?
1. 가설을 세운다. (적당히…)
단서: 단어 “페퍼로니”가 등장한다면
 (1) OrderPizza: -3점
 (2) InformPizza:...

https://www.slideshare.net/ClovaPlatform/clova-tech-summit-2-interaction-model

 

 

 

네이버 클로바에서 자연어처리를 어떻게 하는지 설명하는 글입니다. 대부분의 챗봇 빌더에서는 패턴기반과 통계기반의 두 가지 방법을 조합해서 문장의 의도를 파악합니다. 딥러닝은 데이터가 많이 필요하기 때문에 아마 아직까지 잘 쓰이지 않을 것 같습니다.

 

 

 

패턴기반은 예시 문장과 입력 문장이 얼마나 비슷한지 유사도를 통해 검사합니다. 예를 들어, 자카드 유사도(Jaccard similarity)는 '일치하는 글자수 / 전체 글자수'로 유사도를 계산합니다.

 

A = 안녕하세요
B = 안녕하니
J(A, B) = 3 / 6 = 0.5

 

 

 

통계기반은 TF-IDF(Term Frequency-Inverse Document Frequency) 방식을 사용합니다. 각 의도의 예시 문장에 많이 나온 단어는 중요하다고 판단합니다. 하지만 모든 의도에서 공통적으로 많이 쓰이는 단어는 중요도가 낮기 때문에 역으로 곱하여 점수를 낮춥니다.

 

< 주문 >
페퍼로니 피자 주문할래
불고기 피자 보내줘
슈프림 피자 주문
포테이토 피자 보내줄래

 

< 정보 >
페퍼로니 피자 얼마야
불고기 피자 가격은?
슈프림 피자 얼마니
포테이토 피자 가격 알려줘

 

위의 예시에서 '주문, 보내'는 <주문> 의도에서, '얼마, 가격'은 <정보> 의도에서 많이 나오는 것을 볼 수 있습니다. 하지만 '피자'나 '페퍼로니, 불고기, 슈프림, 포테이토'는 모든 의도에 포함되어 있으므로 문장의 의미를 판단하는데 중요하지 않습니다.

 

 

 

통계기반 방식의 장점은 예시 문장과 입력 문장이 정확히 일치하지 않더라도 의도를 구분할 수 있다는 점입니다.

 

< 예시 문장 >
언제 배달와
몇시에 도착해

 

< 입력 문장 >
몇시에 배달와

 

예를 들어, 위와 같은 문장일때 패턴기반은 입력을 각각의 예문과 비교하기 때문에 유사도가 낮아 의도를 정확하게 파악하기 힘듭니다. 하지만 통계기반은 '몇시'와 '배달와'를 조합해서 계산하므로 좀 더 유연하게 판단할 수 있습니다.

엮인글 :
List of Articles
번호 제목 글쓴이 날짜 조회 수
35 간편한 토픽 모델링 툴 Tomoto Gui 깊은바다 2018-06-14 28
» 클로바 Interaction Model의 이해 및 설계/제작 노하우 - 자연어처리 방법 깊은바다 2018-06-06 45
33 SentiWordNet과 감성분석 깊은바다 2018-06-04 45
32 한국어 오픈소스 자연어처리 라이브러리 - Koshort 깊은바다 2018-05-20 167
31 기계번역기의 발전과 역사 깊은바다 2018-05-10 48
30 소셜 미디어 감성분석을 통한 주가 예측 깊은바다 2018-04-28 96
29 노가다 없는 텍스트 분석을 위한 한국어 NLP 깊은바다 2018-04-26 370
28 한국어 채팅 데이터로 머신러닝 하기 깊은바다 2018-04-25 174
27 나이브 베이즈로 스팸 분류 깊은바다 2018-04-15 142
26 음성인식 방법과 카카오i의 음성형엔진 깊은바다 2018-04-09 107
25 엑소브레인 자연어 질의응답 기술 file 깊은바다 2018-03-25 161
24 왓슨 컴퓨터의 인공지능 소개 깊은바다 2018-03-25 110
23 자연어처리의 개념 깊은바다 2018-03-24 263
22 단어 간 유사도 파악 방법 깊은바다 2018-02-01 345
21 네이버 사용자를 만족시켜라 - 의도파악과 의미검색 깊은바다 2018-01-28 388