레플리
글 수 220

end-to-end 챗봇 질문

조회 수 175 추천 수 0 2019.02.20 21:59:32


안녕하세요. 딥러닝을 이용한 대화 시스템에 대해서 공부하고 있는 대학원생입니다.

 

seq2seq 나, attention 모델을 사용해서 end-to-end 챗봇을 구현하고 싶은데, 크게 두 가지 사항에 대해서 여쭤보고 싶어 글을 올립니다.

 

1. log-likelihood 를 loss 로 두어 학습하면, 앞 문장에 대해 뒷 문장이 나오도록 학습하게 되어, 다양한 답변의 데이터를 갖추지 못한 경우에, 의미가 없거나 (trivial) 짧은 답변이 가장 적은 loss 값을 가져 최종 답변으로 출력되는 경우가 있습니다.

 

2. 대화 시스템에서 중요시 되는 특성 중 하나가 답변의 다양성인데, 현재 상태를 나타내는 context weight 에 대해서만 전환하기에는 학습에 무리가 있습니다. (대화 내용이 상황의 다양성을 전부 표현하지는 못하기 때문에)

 

1) trivial 하고 짧은 답변을 피하면서, 문법 구조를 파괴시키지 않는 방법 중에 가장 간단한 방법이 어떤 것이 있을 지 궁금합니다.

 

2) end-to-end 학습방식의 챗봇에서 다양한 상황에 따라 다양한 답변을 출력하기 위해선 어떤 방법들이 사용될 수 있나요. (입력 문장은 같지만 전후 맥락에 대한 다른 답변)

 

이에 대해 관련된 자료나 답변이 있으신 경우, 도움을 주시면 감사하겠습니다. 

태그
엮인글 :

깊은바다

2019.02.22 01:57:19
*.68.247.186

seq2seq beam search로 검색해보면 좋을 듯 합니다. k개 만큼 각각 다른 대답을 얻게 학습하는 방법입니다. 

 

https://medium.com/the-artificial-impostor/implementing-beam-search-part-1-4f53482daabe

 

https://arxiv.org/pdf/1606.02960.pdf

 

List of Articles
제목 글쓴이 날짜 조회 수
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 306
[전액국비지원] [빅데이터/AI] [2024 채용연계형 SW 전문인재양성 무료 교육과정 교육생 모집] *상시모집 *수강생 추천시 인센티브 제공 file 벡스 2024-03-26 16
♥ 청년취업사관학교 새싹(SeSAC) 영등포캠퍼스 6기 SW과정 모집 (~ 04.21) ♥ file 새싹SeSAC 2024-03-25 15
[마감임박] 스마트농업 AI 경진대회 시상식 및 포럼 사전등록 진행 중 file GOAT 2024-02-07 101
비전공자 개발자 무료 직무교육(빅데이터/AI) / 실무기반 프로젝트, 현장실습 기회 제공 file 벡스 2024-02-01 134
[딥러닝러닝데이] AutoML을 활용한 모델 탐색-서호건 file 인공지능팩토리1 2024-01-11 138
논문 이해의 필요성(질문) [1] 썸머ai 2024-01-08 192
비전공자도 생성형 AI 활용 인공지능 개발 제대로 배우고 개념부터 활용까지 배우고 싶다면? 비트캠프 2023-12-19 136
메타버스+초거대AI 서비스 기획 공모전 file [1] 깊은바다 2023-08-16 165
음성 데이터셋 정보를 한 번에 탐색 할 수 있는 아카이브를 만들었습니다! (SODA) file ODA 2023-06-14 86
딥러닝 관련 질문 (CPU -> GPU 설정 변환후, keras-tuner 돌릴때 error 발생) J814 2023-06-14 100
(주)레플리에서 일상대화 AI에 도전하실 분을 찾습니다 깊은바다 2023-01-19 210
안녕하세요 처음으로 만들어본 챗봇 공유해봅니다. [1] KimYH 2023-01-18 258
카카오 Kogpt 파인튜닝. [3] 영화관람권익보장 2022-11-12 2452
[질문드립니다] 전이학습 개념 관련 [2] 테리웁스 2022-08-23 834