글 수 74


K-001.png

 

http://aclweb.org/anthology/P18-1205

 

 

 

페이스북에서 발표한 논문인데 유저 프로필에 따라 다른 대화를 할 수 있도록 학습하는 방법입니다. 보통 인터넷에서 얻은 대화 데이터를 가지고 학습을 했을때 가장 문제가 되는 것은 대답에 일관성이 없다는 점입니다. 방금 자신이 여고생이라고 했다가 이번에는 아이가 둘 있는 남자라고 말하기도 합니다. 많은 사람의 중복된 문장을 동시에 학습했기 때문입니다.

 

이를 해결하기 위해서 개인마다 다른 프로필을 부여해서 같은 학습을 하였습니다. 먼저 크라우드소싱으로 사진과 같이 가상의 프로필 문장들을 작성합니다. 그리고 두 사람을 짝을 지어 임의의 프로필을 주고 거기에 맞게 자기소개를 하도록 합니다. 이렇게 데이터셋을 구축하고 다양한 알고리즘으로 학습을 했습니다.

 

그중 한가지 방법은 메모리 네트워크를 사용한 것입니다. 프로필 문장들을 임베딩하여 별도로 메모리로 저장하고 대화 히스토리가 입력으로 들어왔을때 프로필 메모리과 같이 조합을 하여 적절한 출력 문장을 생성합니다. 이렇게 했을 경우 비슷한 프로필을 가진 사람들의 문장들이 같이 묶여서 일반화되기 때문에 상당히 일관성이 있는 대화가 가능해집니다.






List of Articles
제목 글쓴이 날짜 조회 수
위키정보를 찾아 잡담을 하는 딥러닝 모델 - Wizard Of Wikipedia file 깊은바다 2018-11-29 212
구글 듀플렉스(Duplex) 상용화 시작 [2] 깊은바다 2018-11-26 186
딥러닝 자연어처리 튜토리얼 - DLK2NLP [1] 깊은바다 2018-11-24 313
커뮤니케이션과 AI - Multi-channel CNN을 이용한 한국어 감성분석 깊은바다 2018-11-22 435
개체명인식 with Naver 깊은바다 2018-11-20 275
사전학습을 통한 구글의 자연어처리 언어 모델 - BERT file 깊은바다 2018-11-03 1110
RNN seq2seq 간단한 대화모델 깊은바다 2018-10-23 228
구글의 Transformer 신경망 모델 [2] 깊은바다 2018-10-13 482
Seq2Seq와 어텐션 기법을 애니메이션으로 쉽게 설명한 글 깊은바다 2018-10-12 217
썰로 푸는 NLP 깊은바다 2018-10-11 225
딥러닝을 이용한 자연어처리의 연구동향 깊은바다 2018-10-04 226
다이나믹 메모리 네트워크 정리 file 깊은바다 2018-09-29 218
질의응답을 위한 딥러닝 모델인 메모리 네트워크 정리 file 깊은바다 2018-09-26 229
딥러닝을 이용한 자연어 처리 입문 깊은바다 2018-09-21 245
페르소나를 가진 대화 학습 - Personalizing Dialogue Agents file 깊은바다 2018-09-19 138