https://arxiv.org/abs/1801.07243

페이스북에서 발표한 논문인데 유저 프로필에 따라 다른 대화를 할 수 있도록 학습하는 방법입니다. 보통 인터넷에서 얻은 대화 데이터를 가지고 학습을 했을때 가장 문제가 되는 것은 대답에 일관성이 없다는 점입니다. 방금 자신이 여고생이라고 했다가 이번에는 아이가 둘 있는 남자라고 말하기도 합니다. 많은 사람의 중복된 문장을 동시에 학습했기 때문입니다.

이를 해결하기 위해서 개인마다 다른 프로필을 부여해서 같은 학습을 하였습니다. 먼저 크라우드소싱으로 사진과 같이 가상의 프로필 문장들을 작성합니다. 그리고 두 사람을 짝을 지어 임의의 프로필을 주고 거기에 맞게 자기소개를 하도록 합니다. 이렇게 데이터셋을 구축하고 다양한 알고리즘으로 학습을 했습니다.

그중 한가지 방법은 메모리 네트워크를 사용한 것입니다. 프로필 문장들을 임베딩하여 별도로 메모리로 저장하고 대화 히스토리가 입력으로 들어왔을때 프로필 메모리과 같이 조합을 하여 적절한 출력 문장을 생성합니다. 이렇게 했을 경우 비슷한 프로필을 가진 사람들의 문장들이 같이 묶여서 일반화되기 때문에 상당히 일관성이 있는 대화가 가능해집니다.