글 수 180


K-001.png

 

https://arxiv.org/abs/1801.07243

 

 

 

페이스북에서 발표한 논문인데 유저 프로필에 따라 다른 대화를 할 수 있도록 학습하는 방법입니다. 보통 인터넷에서 얻은 대화 데이터를 가지고 학습을 했을때 가장 문제가 되는 것은 대답에 일관성이 없다는 점입니다. 방금 자신이 여고생이라고 했다가 이번에는 아이가 둘 있는 남자라고 말하기도 합니다. 많은 사람의 중복된 문장을 동시에 학습했기 때문입니다.

 

이를 해결하기 위해서 개인마다 다른 프로필을 부여해서 같은 학습을 하였습니다. 먼저 크라우드소싱으로 사진과 같이 가상의 프로필 문장들을 작성합니다. 그리고 두 사람을 짝을 지어 임의의 프로필을 주고 거기에 맞게 자기소개를 하도록 합니다. 이렇게 데이터셋을 구축하고 다양한 알고리즘으로 학습을 했습니다.

 

그중 한가지 방법은 메모리 네트워크를 사용한 것입니다. 프로필 문장들을 임베딩하여 별도로 메모리로 저장하고 대화 히스토리가 입력으로 들어왔을때 프로필 메모리과 같이 조합을 하여 적절한 출력 문장을 생성합니다. 이렇게 했을 경우 비슷한 프로필을 가진 사람들의 문장들이 같이 묶여서 일반화되기 때문에 상당히 일관성이 있는 대화가 가능해집니다.

List of Articles
제목 글쓴이 날짜sort 조회 수
카카오의 딥러닝 기반 형태소 분석기 깊은바다 2018-11-30 460
위키정보를 찾아 잡담을 하는 딥러닝 모델 - Wizard Of Wikipedia file 깊은바다 2018-11-29 739
구글 듀플렉스(Duplex) 상용화 시작 [2] 깊은바다 2018-11-26 614
딥러닝 자연어처리 튜토리얼 - DLK2NLP [1] 깊은바다 2018-11-24 1198
커뮤니케이션과 AI - Multi-channel CNN을 이용한 한국어 감성분석 깊은바다 2018-11-22 1119
개체명인식 with Naver 깊은바다 2018-11-20 2249
사전학습을 통한 구글의 자연어처리 언어 모델 - BERT file 깊은바다 2018-11-03 4143
RNN seq2seq 간단한 대화모델 깊은바다 2018-10-23 1297
구글의 Transformer 신경망 모델 [2] 깊은바다 2018-10-13 2944
Seq2Seq와 어텐션 기법을 애니메이션으로 쉽게 설명한 글 깊은바다 2018-10-12 996
썰로 푸는 NLP 깊은바다 2018-10-11 471
딥러닝을 이용한 자연어처리의 연구동향 깊은바다 2018-10-04 594
다이나믹 메모리 네트워크 정리 file 깊은바다 2018-09-29 1034
질의응답을 위한 딥러닝 모델인 메모리 네트워크 정리 file 깊은바다 2018-09-26 845
딥러닝을 이용한 자연어 처리 입문 - 위키독스 깊은바다 2018-09-21 995