레플리
글 수 281


K-001.png

 

https://arxiv.org/abs/1801.07243

 

 

 

페이스북에서 발표한 논문인데 유저 프로필에 따라 다른 대화를 할 수 있도록 학습하는 방법입니다. 보통 인터넷에서 얻은 대화 데이터를 가지고 학습을 했을때 가장 문제가 되는 것은 대답에 일관성이 없다는 점입니다. 방금 자신이 여고생이라고 했다가 이번에는 아이가 둘 있는 남자라고 말하기도 합니다. 많은 사람의 중복된 문장을 동시에 학습했기 때문입니다.

 

이를 해결하기 위해서 개인마다 다른 프로필을 부여해서 같은 학습을 하였습니다. 먼저 크라우드소싱으로 사진과 같이 가상의 프로필 문장들을 작성합니다. 그리고 두 사람을 짝을 지어 임의의 프로필을 주고 거기에 맞게 자기소개를 하도록 합니다. 이렇게 데이터셋을 구축하고 다양한 알고리즘으로 학습을 했습니다.

 

그중 한가지 방법은 메모리 네트워크를 사용한 것입니다. 프로필 문장들을 임베딩하여 별도로 메모리로 저장하고 대화 히스토리가 입력으로 들어왔을때 프로필 메모리과 같이 조합을 하여 적절한 출력 문장을 생성합니다. 이렇게 했을 경우 비슷한 프로필을 가진 사람들의 문장들이 같이 묶여서 일반화되기 때문에 상당히 일관성이 있는 대화가 가능해집니다.

List of Articles
제목 글쓴이 날짜sort 조회 수
소설을 생성하는 NarrativeKoGPT2 file 깊은바다 2020-06-19 2189
주석을 프로그램으로 변환하는 GPT 모델 깊은바다 2020-06-21 478
KoGPT2를 파인튜닝하여 만든 챗봇 깊은바다 2020-06-23 3493
오픈소스 한국어 딥러닝 챗봇 - Kochat 깊은바다 2020-07-03 2498
GPT2에서 문장 생성 시 단어를 확률에 따라 선택하는 방법 깊은바다 2020-07-16 2183
GPT3로 하는 리액트 프로그래밍 file 깊은바다 2020-07-19 769
네이버 뉴스 댓글로 사전훈련한 구어체 모델 - KcBERT 깊은바다 2020-07-20 813
GPT3 튜링 테스트 깊은바다 2020-07-23 668
GPT3가 상식을 가지고 있을까 깊은바다 2020-07-24 739
KoGPT2, KoBERT, KoELECTRA로 만든 심리상담 챗봇 file 깊은바다 2020-08-05 6307
한국어로 대화하는 생성 모델의 학습을 위한 여정 - Transformer와 GPT2 깊은바다 2020-08-13 3565
그림으로 아주 쉽게 설명한, The Illustrated GPT-2 깊은바다 2020-08-15 2752
GPT-3의 다섯 가지 한계 깊은바다 2020-08-23 1048
GPT3 유료화 가격 공개 file 깊은바다 2020-09-04 1746
GPT-3 패러다임을 바꿀 미친 성능의 인공지능 등장 및 활용 사례 10가지 깊은바다 2020-09-14 797