레플리
글 수 281

MS의 딥러닝 대화 모델 - DialoGPT

조회 수 453 추천 수 0 2020.04.24 17:23:24


K-001.png

 

 

 

MS에서 발표한 딥러닝 대화 모델인 DialoGPT입니다. 이름 그대로 GPT2를 기본으로 하고, 이를 대화 도메인에 맞게 약간 변형하였습니다. 각 턴의 텍스트를 End Token으로 구분하고 이어붙여서 입력으로 사용합니다. 래딧의 댓글들을 크롤링하여 질문과 대답의 학습 데이터로 생성하였다고 합니다.

 

모델의 파라미터가 762M인데요. GPT2가 1500M, 구글 Meena가 2600M인 것에 비하면 조금 작습니다. 그래서인지 성능이 그리 뛰어나지는 않은 듯 합니다. 2턴 이상의 문맥은 어느정도 이어지지만, 대답이 짧은 편입니다. 또한 같은 말을 계속 반복하는 경향이 너무 심합니다. Meena가 빨리 공개되어서 한 번 테스트를 해봤으면 좋겠네요.

 

 

 

< 논문 >

-> https://arxiv.org/abs/1911.00536

 

< Colab 실행 코드 >

-> https://colab.research.google.com/drive/1D67YQ7_Rfu8DN2ciYdxfb3KNbRCgiyJh

 

List of Articles
제목 글쓴이 날짜 조회 수sort
콜센터 챗봇에 ChatGPT를 적용하는 방법 깊은바다 2023-02-20 321
AutoGPT 사용기 - 다른 에이전트 생성 능력 file 깊은바다 2023-04-23 327
ChatGPT API에서도 플러그인과 동일한 기능을 - ChatGPT Function file 깊은바다 2023-06-14 328
GPT-4 수능 국어영역에서 3등급(상위 17%) 달성 깊은바다 2023-03-21 330
인공지능과 친구가 될 수 있을까요 - 이루다의 페르소나 구축 방법 file 깊은바다 2023-02-21 335
ChatGPT를 앱스토어 같은 플랫폼으로 확장 - ChatGPT 플러그인 file 깊은바다 2023-03-24 347
GPT-3를 활용하여 주석을 코드로 바꿔주는 GitHub Copilot 깊은바다 2021-06-30 350
지금 생성AI는 과도기일 뿐 file 깊은바다 2023-06-19 353
레포트를 써주는 LLM - GPT Researcher file 깊은바다 2023-07-13 353
딥러닝으로 상식 구축 - Event2Mind 깊은바다 2018-09-14 373
업스테이지 SOLAR 10.7B에서 사용한 DUS 모델 확장 방법 file 깊은바다 2023-12-27 375
딥러닝을 활용한 뉴스 메타 태깅 깊은바다 2019-08-26 379
페이지(PAIGE)를 만드는 사람들 - 자연어처리 기법 깊은바다 2018-05-26 395
스탠포드 자연어처리 강의 - The Limits and Future of NLP 깊은바다 2018-08-30 395
딥러닝으로 동네생활 게시글 필터링하기 깊은바다 2020-10-06 397