레플리
글 수 220

end-to-end 챗봇 질문

조회 수 175 추천 수 0 2019.02.20 21:59:32


안녕하세요. 딥러닝을 이용한 대화 시스템에 대해서 공부하고 있는 대학원생입니다.

 

seq2seq 나, attention 모델을 사용해서 end-to-end 챗봇을 구현하고 싶은데, 크게 두 가지 사항에 대해서 여쭤보고 싶어 글을 올립니다.

 

1. log-likelihood 를 loss 로 두어 학습하면, 앞 문장에 대해 뒷 문장이 나오도록 학습하게 되어, 다양한 답변의 데이터를 갖추지 못한 경우에, 의미가 없거나 (trivial) 짧은 답변이 가장 적은 loss 값을 가져 최종 답변으로 출력되는 경우가 있습니다.

 

2. 대화 시스템에서 중요시 되는 특성 중 하나가 답변의 다양성인데, 현재 상태를 나타내는 context weight 에 대해서만 전환하기에는 학습에 무리가 있습니다. (대화 내용이 상황의 다양성을 전부 표현하지는 못하기 때문에)

 

1) trivial 하고 짧은 답변을 피하면서, 문법 구조를 파괴시키지 않는 방법 중에 가장 간단한 방법이 어떤 것이 있을 지 궁금합니다.

 

2) end-to-end 학습방식의 챗봇에서 다양한 상황에 따라 다양한 답변을 출력하기 위해선 어떤 방법들이 사용될 수 있나요. (입력 문장은 같지만 전후 맥락에 대한 다른 답변)

 

이에 대해 관련된 자료나 답변이 있으신 경우, 도움을 주시면 감사하겠습니다. 

태그
엮인글 :

깊은바다

2019.02.22 01:57:19
*.68.247.186

seq2seq beam search로 검색해보면 좋을 듯 합니다. k개 만큼 각각 다른 대답을 얻게 학습하는 방법입니다. 

 

https://medium.com/the-artificial-impostor/implementing-beam-search-part-1-4f53482daabe

 

https://arxiv.org/pdf/1606.02960.pdf

 

List of Articles
제목 글쓴이 날짜 조회 수sort
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 306
안녕하세요 챗봇 관련해서 질문있습니다. [3] 된장찌개 2020-01-02 232
안녕하세요. 사지방컴입니다. 정말 오랜만에 글 작성합니다. [2] 사지방컴 2019-12-19 231
사지방컴입니다. 신경망 라이브러리 깃헙링크입니다. [1] 사지방컴 2020-01-01 224
MS, AI 채팅봇 개발도구 공개 깊은바다 2016-04-01 223
딥러닝에 대한 질문드려용 [1] 병쥐 2021-05-17 222
감성 AI 챗봇 문의드립니다. [2] 아임둥 2020-09-06 222
ai(인공지능)개발자 찾습니다 바요 2017-08-04 220
영화 패신저스의 대화 인터페이스 깊은바다 2018-10-03 219
경사하강법 질문있습니다! [3] 평범한공대생 2020-04-29 216
(주)레플리에서 일상대화 AI에 도전하실 분을 찾습니다 깊은바다 2023-01-19 210
데이터 종류에 대해서 궁금합니다. [2] 노력하는돌 2021-03-22 204
안녕하세요 seq2seq에 대한 질문 있습니다... [2] jjdh 2018-05-31 203
[질문] Mnist가 아닌 제가 가진 이미지셋으로 GAN 구현 중 질문 드립니다 file [2] 하얀천사 2018-10-31 201
깊은바다님께 깊은 자문을 구하고싶습니다. [2] wcchoi95 2017-11-29 199
딥러닝을 이용한 사운드 생성 관련 질문 [2] NeuroWhAI 2019-02-03 198