글 수 100


K-001.png

 

https://speakerdeck.com/codertimo/paikon-2019-100eoggeonyi-kakaotog-deiteoro-ddogddoghan-ilsangdaehwa-ingongjineung-mandeulgi

 

 

 

이번 파이콘에서 발표한 핑퐁에 대한 소개입니다. 특히 이전 자료들와 달리 BERT로 만든 멀티턴 리액션을 자세히 다루고 있습니다. 아래 예시처럼 5개의 연속된 문장을 하나의 입력으로 사용합니다. 이때 Turn Embedding을 추가하여 문장들의 순서를 구분합니다.

 

 

 

"우울해|무슨일있어요|크리스마스인데 나만 솔로야|좋은 사람 만날 수 있을거에요|그럴까?"

-> 네 그럴거에요

 

"신난다|무슨일있어요|오늘 날씨가 너무 좋아|한강이라도 가요|그럴까?"

-> 같이 갈래요?

 

 

 

마지막 문장이 '그럴까?'로 같지만 이전 문맥에 따라 다른 답변을 하고 있습니다. 저도 데모를 직접 해봤는데요. 완벽하지는 않지만 어느정도 멀티턴으로 대답을 합니다.

 

사실 이 아이디어 자체는 그리 새로운 것은 아닙니다. 다만 한 문장이 아니라 연속적인 여러 문장을 커버하려면 그만큼 학습 데이터가 엄청나게 필요합니다. 물론 실제 구현하는 것도 어렵겠지만, 알고리즘만 있다고 가능한 모델은 아닙니다^^; 궁금하신 분은 아래 사이트에서 테스트하실 수 있습니다.

 

 

 

< 핑퐁 멀티턴 데모 >

-> https://demo.pingpong.us/multi-turn-reaction/

 

 

List of Articles
제목 글쓴이 날짜 조회 수
책 한권을 입력으로 받는 구글의 딥러닝 모델 - Reformer 깊은바다 2020-01-17 100
GPT2 텍스트 어드벤처 게임, AI Dungeon 앱 출시 깊은바다 2019-12-23 106
네이버 영화리뷰 감정분석 with Hugging Face BERT file 깊은바다 2019-12-17 282
GPT2로 만든 텍스트 어드벤처 게임 깊은바다 2019-12-09 147
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 232
GLUE: 벤치마크를 통해 BERT 이해하기 깊은바다 2019-11-19 358
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 223
GPT2로 글을 작성하는 사이트 - StoryAI file 깊은바다 2019-10-11 253
딥러닝 기반 자연어 언어모델 BERT - Colab 실습 코드 포함 file 깊은바다 2019-09-02 593
욕설을 찾는 BERT 모델 - Purifier 깊은바다 2019-08-28 460
딥러닝을 활용한 뉴스 메타 태깅 깊은바다 2019-08-26 189
100억건의 카카오톡 데이터로 
똑똑한 일상대화 인공지능 만들기 - 핑퐁 멀티턴 file 깊은바다 2019-08-20 826
새로운 자연어처리 벤치마크 - SuperGLUE 깊은바다 2019-08-15 272
딥러닝을 사용하여 심심이의 나쁜말 필터링 기능 구현 깊은바다 2019-08-14 310
위키에서 질문의 답을 찾는 딥러닝 모델, 페이스북의 DrQA file 깊은바다 2019-08-03 230