글 수 62


K-001.png

 

K-002.png

 

K-003.png

 

 

 

페이스북에서 발표한 논문인데 위키피디아의 정보를 사용하여 잡담을 할 수 있는 딥러닝 학습 모델입니다.

 

현재 나와있는 챗봇은 보통 위키의 내용을 먼저 지식그래프로 DB에 저장합니다. 그리고 질문이 들어오면 거기에 해당되는 정보를 찾아 템플릿 문장에 넣어 출력합니다.

 

지식그래프 : 아이유->키 = 160cm
질문 : 아이유 키가 얼마야?
의도 : 지식검색 / 개체 : 아이유, 키
템플릿 문장 : (인물)의 (특성)은/는 (수치)입니다.
대답 : 아이유의 키는 160cm입니다.

 

 

 

이런 방식의 문제점은 우선 위키의 내용을 분석하여 지식그래프로 변환하기가 어렵다는 것입니다. 그리고 의도를 판단한 후 대답 문장을 생성하는 것도 일일이 사람이 코딩을 해야합니다.

 

반면에 논문에서는 이러한 과정을 모두 학습으로 구현하였습니다. Memory Network와 Transformer를 합쳐서 Transformer Memory Network 모델이라고 부릅니다.

 

이전 대화 기록을 보고 IR(Information Retrieval)에서 관련된 위키페이지를 찾고 유사도가 높은 여러개의 문장들을 뽑아냅니다. 이 부분은 학습이 아니라 기존 검색 시스템을 사용합니다. 그리고 첫번째 스테이지에서 후보 문장 중 가장 관련이 높은 문장을 선택합니다. 그리고 두번째 스테이지에서 선택된 위키 문장을 사용하여 새로운 대답을 생성합니다.

 

 

 

이 모델의 장점은 사람이 개입하지 않아도 질문에 대해서 위키정보를 검색하여 적절한 대답을 자동으로 만든다는 것입니다. 또한 딥러닝의 특징인 일반화로 인해 학습하지 않은 주제에 대해서도 스스로 위키의 정보를 이용해 대답을 할 수 있습니다. 다시 말하면 위키문장 자체를 학습하는 것이 아니라 위키의 문장을 찾아 가공하여 새로운 문장을 만드는 방법을 배우는 것입니다.

 

스크린샷을 보면 학습 데이터에 있는 E-book 주제만이 아니라 처음 접하는 Shower라는 카테고리에 대해서도 상당히 자연스럽게 문장을 만들어내고 있습니다.

 

 

 

< Wizard of Wikipedia: Knowledge-Powered Conversational agents >
-> https://arxiv.org/pdf/1811.01241.pdf


하이루

2018.11.30 08:36:06
*.249.191.10

감사합니다.

List of Articles
제목 글쓴이 날짜 조회 수
한국어 형태소 분석기 성능 비교 - khaiii [1] 깊은바다 2018-12-10 34
카카오 형태소 분석기(khaiii) 설치와 은전한닢(mecab) 형태소 분석기 비교 [1] 깊은바다 2018-12-02 158
카카오의 딥러닝 기반 형태소 분석기 [1] 깊은바다 2018-11-30 66
위키정보를 찾아 잡담을 하는 딥러닝 모델 - Wizard Of Wikipedia file [1] 깊은바다 2018-11-29 65
구글 듀플렉스(Duplex) 상용화 시작 [3] 깊은바다 2018-11-26 60
딥러닝 자연어처리 튜토리얼 - DLK2NLP [2] 깊은바다 2018-11-24 90
커뮤니케이션과 AI - Multi-channel CNN을 이용한 한국어 감성분석 [1] 깊은바다 2018-11-22 285
개체명인식 with Naver [1] 깊은바다 2018-11-20 81
사전학습을 통한 구글의 자연어처리 언어 모델 - BERT file 깊은바다 2018-11-03 269
RNN seq2seq 간단한 대화모델 깊은바다 2018-10-23 139
구글의 Transformer 신경망 모델 [2] 깊은바다 2018-10-13 172
Seq2Seq와 어텐션 기법을 애니메이션으로 쉽게 설명한 글 깊은바다 2018-10-12 104
썰로 푸는 NLP 깊은바다 2018-10-11 151
딥러닝을 이용한 자연어처리의 연구동향 깊은바다 2018-10-04 156
다이나믹 메모리 네트워크 정리 file 깊은바다 2018-09-29 142