레플리
글 수 281


K-001.png

 

https://arxiv.org/abs/1801.07243

 

 

 

페이스북에서 발표한 논문인데 유저 프로필에 따라 다른 대화를 할 수 있도록 학습하는 방법입니다. 보통 인터넷에서 얻은 대화 데이터를 가지고 학습을 했을때 가장 문제가 되는 것은 대답에 일관성이 없다는 점입니다. 방금 자신이 여고생이라고 했다가 이번에는 아이가 둘 있는 남자라고 말하기도 합니다. 많은 사람의 중복된 문장을 동시에 학습했기 때문입니다.

 

이를 해결하기 위해서 개인마다 다른 프로필을 부여해서 같은 학습을 하였습니다. 먼저 크라우드소싱으로 사진과 같이 가상의 프로필 문장들을 작성합니다. 그리고 두 사람을 짝을 지어 임의의 프로필을 주고 거기에 맞게 자기소개를 하도록 합니다. 이렇게 데이터셋을 구축하고 다양한 알고리즘으로 학습을 했습니다.

 

그중 한가지 방법은 메모리 네트워크를 사용한 것입니다. 프로필 문장들을 임베딩하여 별도로 메모리로 저장하고 대화 히스토리가 입력으로 들어왔을때 프로필 메모리과 같이 조합을 하여 적절한 출력 문장을 생성합니다. 이렇게 했을 경우 비슷한 프로필을 가진 사람들의 문장들이 같이 묶여서 일반화되기 때문에 상당히 일관성이 있는 대화가 가능해집니다.

List of Articles
제목 글쓴이 날짜 조회 수
문장을 벡터로 변환하는 방법들 깊은바다 2021-09-16 911
네이버의 초거대모델인 HyperCLOVA 논문 file 깊은바다 2021-09-13 554
챗봇의 슬롯 채우기(Slot Filling)와 DST(Dialogue State Tracking) file 깊은바다 2021-08-19 1425
죽은 약혼자를 챗봇으로 살려낸 남자 - Project December 깊은바다 2021-07-27 557
인터넷 검색을 하고 장기기억을 저장하는 페이스북의 챗봇 - Blenderbot 2 file 깊은바다 2021-07-19 643
GPT-3 데모 사이트 - gpt3demo.com 깊은바다 2021-07-13 3689
6B 파라미터의 GPT-J_6B 오픈소스 모델 깊은바다 2021-07-01 3020
GPT-3를 활용하여 주석을 코드로 바꿔주는 GitHub Copilot 깊은바다 2021-06-30 350
구글의 딥러닝 대화 모델 - LaMDA 깊은바다 2021-06-13 586
일상대화 딥러닝 모델들을 쉽게 실행할 수 있는 Openchat 깊은바다 2021-06-01 567
GPT-3를 사용하여 코딩을 하는 MS의 파워FX 깊은바다 2021-06-01 248
텍스트 스타일을 바꾸는 딥러닝 기술 깊은바다 2021-06-01 429
KoGPT2 v2.0 공개 깊은바다 2021-05-03 1587
이루다 같은 챗봇은 어떤 원리로 작동하는 걸까? 깊은바다 2021-04-03 1684
이성에게 말을 거는 작업멘트를 GPT-3로 생성 file 깊은바다 2021-03-24 586