글 수 108


 

https://medium.com/huggingface/how-to-build-a-state-of-the-art-conversational-ai-with-transfer-learning-2d818ac26313

 

 

 

일상대화 챗봇을 만들 때 가장 어려운 점은 페르소나에 맞게 일관성을 유지하는 것입니다. 예를 들어, 여러 사람의 다이얼로그로 구성된 데이터를 딥러닝 모델로 구현했다고 생각해보겠습니다. 학습이 잘 되었다면 문장과 문장 사이의 문맥은 어느정도 이어집니다. 하지만 방금은 남자였다가 지금은 여자라고 하는 등 하나의 인격을 보여주지 못합니다.

 

NIPS 2018에서 ConvAI2라는 대회가 열렸습니다. 아래와 같이 페르소나에 대한 문장들이 주어집니다. 그러면 거기에 맞게 대화를 이어가는 챗봇을 만들어야 합니다.

 

< Persona >
I am an artist
I have four children
I recently got a cat
I enjoy walking for exercise
I love watching Game of Thrones

< Dialog >
A : Hi
B : Hello! How are you today?
A : I am good thank you, how are you
B : My children and I are watching Game of Thrones

 

 

 

이 대회에서 Hugging Face가 1위를 차지했는데, 자세한 구현방법과 소스코드를 공개했습니다. 우선 사전훈련된 GPT 모델을 가져옵니다. 그리고 페르소나 데이터셋으로 전이학습을 하여 파인튜닝합니다. 언어모델인 GPT에 맞게 입력은 (페르소나 문장들+다이얼로그 ABAB...)가 순서대로 들어갑니다. 출력은 바로 다음 단어가 됩니다. 이 출력 단어를 다시 입력의 끝에 붙여서 넣고, 계속 반복하여 문장을 생성합니다.

 

https://convai.huggingface.co/

 

위의 링크에서 직접 테스트를 해보실 수 있습니다. 랜덤하게 페르소나를 선택하면, 그에 따라 챗봇이 대답을 합니다. 밑의 decoder settings가 High면 최대한 정확하게 문장을 만듭니다. 반대로 Low일 경우 좀 더 다양하게 답변이 나옵니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
아마존, End-to-End 딥러닝 기술을 고객서비스에 챗봇에 적용 깊은바다 2020-03-17 108
딥러닝 질의응답 시스템인 cdQA-suite 깊은바다 2020-03-08 134
LG 사이언스파크에서 만든 한글 MRC(기계독해) 데모 file [2] 깊은바다 2020-03-07 166
페르소나에 따라 대화를 하는 딥러닝 챗봇 by Hugging Face 깊은바다 2020-03-06 115
GPT2로 만든 가상의 SNS - Botnet 깊은바다 2020-02-14 159
SKT가 공개한 한글 GPT2 - KoGPT2 깊은바다 2020-02-02 479
구글의 일상대화 딥러닝 모델 - Meena file 깊은바다 2020-01-30 403
핑퐁의 리액션 모델 - Dialog-BERT 만들기 깊은바다 2020-01-28 246
책 한권을 입력으로 받는 구글의 딥러닝 모델 - Reformer 깊은바다 2020-01-17 280
GPT2 텍스트 어드벤처 게임, AI Dungeon 앱 출시 깊은바다 2019-12-23 141
네이버 영화리뷰 감정분석 with Hugging Face BERT file 깊은바다 2019-12-17 593
GPT2로 만든 텍스트 어드벤처 게임 깊은바다 2019-12-09 191
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 281
GLUE: 벤치마크를 통해 BERT 이해하기 깊은바다 2019-11-19 487
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 261