안녕하세요. 딥러닝을 이용한 대화 시스템에 대해서 공부하고 있는 대학원생입니다.

seq2seq 나, attention 모델을 사용해서 end-to-end 챗봇을 구현하고 싶은데, 크게 두 가지 사항에 대해서 여쭤보고 싶어 글을 올립니다.

1. log-likelihood 를 loss 로 두어 학습하면, 앞 문장에 대해 뒷 문장이 나오도록 학습하게 되어, 다양한 답변의 데이터를 갖추지 못한 경우에, 의미가 없거나 (trivial) 짧은 답변이 가장 적은 loss 값을 가져 최종 답변으로 출력되는 경우가 있습니다.

2. 대화 시스템에서 중요시 되는 특성 중 하나가 답변의 다양성인데, 현재 상태를 나타내는 context weight 에 대해서만 전환하기에는 학습에 무리가 있습니다. (대화 내용이 상황의 다양성을 전부 표현하지는 못하기 때문에)

1) trivial 하고 짧은 답변을 피하면서, 문법 구조를 파괴시키지 않는 방법 중에 가장 간단한 방법이 어떤 것이 있을 지 궁금합니다.

2) end-to-end 학습방식의 챗봇에서 다양한 상황에 따라 다양한 답변을 출력하기 위해선 어떤 방법들이 사용될 수 있나요. (입력 문장은 같지만 전후 맥락에 대한 다른 답변)

이에 대해 관련된 자료나 답변이 있으신 경우, 도움을 주시면 감사하겠습니다.