글 수 153

end-to-end 챗봇 질문

조회 수 120 추천 수 0 2019.02.20 21:59:32


안녕하세요. 딥러닝을 이용한 대화 시스템에 대해서 공부하고 있는 대학원생입니다.

 

seq2seq 나, attention 모델을 사용해서 end-to-end 챗봇을 구현하고 싶은데, 크게 두 가지 사항에 대해서 여쭤보고 싶어 글을 올립니다.

 

1. log-likelihood 를 loss 로 두어 학습하면, 앞 문장에 대해 뒷 문장이 나오도록 학습하게 되어, 다양한 답변의 데이터를 갖추지 못한 경우에, 의미가 없거나 (trivial) 짧은 답변이 가장 적은 loss 값을 가져 최종 답변으로 출력되는 경우가 있습니다.

 

2. 대화 시스템에서 중요시 되는 특성 중 하나가 답변의 다양성인데, 현재 상태를 나타내는 context weight 에 대해서만 전환하기에는 학습에 무리가 있습니다. (대화 내용이 상황의 다양성을 전부 표현하지는 못하기 때문에)

 

1) trivial 하고 짧은 답변을 피하면서, 문법 구조를 파괴시키지 않는 방법 중에 가장 간단한 방법이 어떤 것이 있을 지 궁금합니다.

 

2) end-to-end 학습방식의 챗봇에서 다양한 상황에 따라 다양한 답변을 출력하기 위해선 어떤 방법들이 사용될 수 있나요. (입력 문장은 같지만 전후 맥락에 대한 다른 답변)

 

이에 대해 관련된 자료나 답변이 있으신 경우, 도움을 주시면 감사하겠습니다. 

태그
엮인글 :

깊은바다

2019.02.22 01:57:19
*.68.247.186

seq2seq beam search로 검색해보면 좋을 듯 합니다. k개 만큼 각각 다른 대답을 얻게 학습하는 방법입니다. 

 

https://medium.com/the-artificial-impostor/implementing-beam-search-part-1-4f53482daabe

 

https://arxiv.org/pdf/1606.02960.pdf

 

List of Articles
제목 글쓴이 날짜 조회 수
Dialogflow 질문입니다. [2] HELATHLAB 2019-02-22 186
end-to-end 챗봇 질문 [1] 배수진종결자 2019-02-20 120
안녕하세요 챗봇을 공부하고 있는 학생입니다. [2] 초보개발 2019-02-20 152
lambda에 올린 코드 [1] 챗봇딥러닝가자 2019-02-08 116
딥러닝을 이용한 사운드 생성 관련 질문 [2] NeuroWhAI 2019-02-03 96
안녕하세요~ 궁금하게있어요 [1] 챗봇딥러닝가자 2019-01-31 64
안녕하세요, 카카오 i 오픈빌더에 대해서 질문이 있습니다. [2] 아라하타마하 2019-01-19 207
Transformer 구조에 대해서 질문하나 드립니다. [1] 김만수 2019-01-15 101
합성곱신경망의 패딩에 관한 질문 [2] 디쁘러닝 2019-01-10 79
딥러닝으로 빵의 가격을 자동으로 계산하는 인공지능 깊은바다 2019-01-06 194
케라스 창시자에게 배우는 딥러닝 카미오레오 2018-12-07 136
Seq2Seq에 Attention 구현 성공했습니다! [2] NeuroWhAI 2018-12-04 208
어텐션 매커니즘 구현하기 너무 힘드네요 ㅠ [1] NeuroWhAI 2018-12-02 107
한국어 구사 데이타 사이언티스트 채용 실력? 뜨자떠야한다 2018-11-28 114
서지민의 인공신경망 라이브러리 업데이트 1.1 [2] 사지방컴 2018-11-27 87