글 수 94


K-001.png

 

https://speakerdeck.com/codertimo/paikon-2019-100eoggeonyi-kakaotog-deiteoro-ddogddoghan-ilsangdaehwa-ingongjineung-mandeulgi

 

 

 

이번 파이콘에서 발표한 핑퐁에 대한 소개입니다. 특히 이전 자료들와 달리 BERT로 만든 멀티턴 리액션을 자세히 다루고 있습니다. 아래 예시처럼 5개의 연속된 문장을 하나의 입력으로 사용합니다. 이때 Turn Embedding을 추가하여 문장들의 순서를 구분합니다.

 

 

 

"우울해|무슨일있어요|크리스마스인데 나만 솔로야|좋은 사람 만날 수 있을거에요|그럴까?"

-> 네 그럴거에요

 

"신난다|무슨일있어요|오늘 날씨가 너무 좋아|한강이라도 가요|그럴까?"

-> 같이 갈래요?

 

 

 

마지막 문장이 '그럴까?'로 같지만 이전 문맥에 따라 다른 답변을 하고 있습니다. 저도 데모를 직접 해봤는데요. 완벽하지는 않지만 어느정도 멀티턴으로 대답을 합니다.

 

사실 이 아이디어 자체는 그리 새로운 것은 아닙니다. 다만 한 문장이 아니라 연속적인 여러 문장을 커버하려면 그만큼 학습 데이터가 엄청나게 필요합니다. 물론 실제 구현하는 것도 어렵겠지만, 알고리즘만 있다고 가능한 모델은 아닙니다^^; 궁금하신 분은 아래 사이트에서 테스트하실 수 있습니다.

 

 

 

< 핑퐁 멀티턴 데모 >

-> https://demo.pingpong.us/multi-turn-reaction/

 

 

List of Articles
제목 글쓴이 날짜 조회 수
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 52
GPT2로 글을 작성하는 사이트 - StoryAI file 깊은바다 2019-10-11 131
딥러닝 기반 자연어 언어모델 BERT - Colab 실습 코드 포함 file 깊은바다 2019-09-02 404
욕설을 찾는 BERT 모델 - Purifier 깊은바다 2019-08-28 305
딥러닝을 활용한 뉴스 메타 태깅 깊은바다 2019-08-26 143
100억건의 카카오톡 데이터로 
똑똑한 일상대화 인공지능 만들기 - 핑퐁 멀티턴 file 깊은바다 2019-08-20 425
새로운 자연어처리 벤치마크 - SuperGLUE 깊은바다 2019-08-15 214
딥러닝을 사용하여 심심이의 나쁜말 필터링 기능 구현 깊은바다 2019-08-14 206
위키에서 질문의 답을 찾는 딥러닝 모델, 페이스북의 DrQA file 깊은바다 2019-08-03 156
페이스북이 발표한 사전훈련 언어모델 RoBERTa file 깊은바다 2019-07-30 369
케라스로 만든 한글 Seq2Seq 챗봇 소스코드 깊은바다 2019-07-13 585
딥러닝 자연어처리 강의 - Natural Language Processing with PyTorch 깊은바다 2019-07-06 299
딥러닝을 사용하여 의도 및 엔티티를 파악하는 챗봇 소스코드 file 깊은바다 2019-06-25 703
가짜뉴스를 생성 또는 판별하는 딥러닝 모델 - Grover 깊은바다 2019-06-01 335
GPT2를 Colab에서 테스트할 수 있는 코드 깊은바다 2019-05-21 354