레플리
글 수 220

end-to-end 챗봇 질문

조회 수 175 추천 수 0 2019.02.20 21:59:32


안녕하세요. 딥러닝을 이용한 대화 시스템에 대해서 공부하고 있는 대학원생입니다.

 

seq2seq 나, attention 모델을 사용해서 end-to-end 챗봇을 구현하고 싶은데, 크게 두 가지 사항에 대해서 여쭤보고 싶어 글을 올립니다.

 

1. log-likelihood 를 loss 로 두어 학습하면, 앞 문장에 대해 뒷 문장이 나오도록 학습하게 되어, 다양한 답변의 데이터를 갖추지 못한 경우에, 의미가 없거나 (trivial) 짧은 답변이 가장 적은 loss 값을 가져 최종 답변으로 출력되는 경우가 있습니다.

 

2. 대화 시스템에서 중요시 되는 특성 중 하나가 답변의 다양성인데, 현재 상태를 나타내는 context weight 에 대해서만 전환하기에는 학습에 무리가 있습니다. (대화 내용이 상황의 다양성을 전부 표현하지는 못하기 때문에)

 

1) trivial 하고 짧은 답변을 피하면서, 문법 구조를 파괴시키지 않는 방법 중에 가장 간단한 방법이 어떤 것이 있을 지 궁금합니다.

 

2) end-to-end 학습방식의 챗봇에서 다양한 상황에 따라 다양한 답변을 출력하기 위해선 어떤 방법들이 사용될 수 있나요. (입력 문장은 같지만 전후 맥락에 대한 다른 답변)

 

이에 대해 관련된 자료나 답변이 있으신 경우, 도움을 주시면 감사하겠습니다. 

태그
엮인글 :

깊은바다

2019.02.22 01:57:19
*.68.247.186

seq2seq beam search로 검색해보면 좋을 듯 합니다. k개 만큼 각각 다른 대답을 얻게 학습하는 방법입니다. 

 

https://medium.com/the-artificial-impostor/implementing-beam-search-part-1-4f53482daabe

 

https://arxiv.org/pdf/1606.02960.pdf

 

List of Articles
제목 글쓴이 날짜 조회 수
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 306
가입인사 드립니다. [1] 홍라이코스 2020-03-24 185
가입 인사 겸 질문입니다. file [1] 초보개발자입니다 2020-01-06 328
안녕하세요 챗봇 관련해서 질문있습니다. [3] 된장찌개 2020-01-02 232
사지방컴입니다. 신경망 라이브러리 깃헙링크입니다. [1] 사지방컴 2020-01-01 224
새해 복 많이 받으세요~ [2] NeuroWhAI 2020-01-01 534
안녕하세요. 사지방컴입니다. 정말 오랜만에 글 작성합니다. [2] 사지방컴 2019-12-19 231
케라스로 만든 코드를 C++에서 쓸 수 있나요? [2] 거북이 2019-11-26 399
가입 인사 드립니다. [1] 야발자 2019-11-08 9577
입력 데이터 정규화 질문 드립니다. [2] 거북이 2019-10-23 331
이탈리아 피렌체에서 열린 'ACL 2019' 학회에 다녀왔어요 목동하정우 2019-10-21 350
가입인사겸 질문 [1] 창백123 2019-09-30 350
반갑습니다. 가입 인사 드립니다. [1] 현무 2019-09-27 162
가입인사 [1] mycraft 2019-09-26 126
가입인사겸 문의 드립니다. [2] 번호인식 2019-09-10 358
안녕하세요. 기입인사 드립니다. [1] 쭈네 2019-08-27 123