글 수 182

페이스북의 일상대화 딥러닝 모델 - BlenderBot

조회 수 831 추천 수 0 2020.05.01 03:05:23


K-001.png

 

https://ai.facebook.com/blog/state-of-the-art-open-source-chatbot/

 

 

 

올해 초에 구글이 딥러닝 일상대화 챗봇인 Meena를 발표했습니다. 어제 이를 능가하는 새로운 모델이 공개되었습니다. 바로 페이스북의 BlenderBot입니다. 우선 파라미터가 Meena의 2.6B에서 3배 늘어난 9.4B입니다. 또한 사람의 평가 결과, '더 오래 얘기하고 싶음'과 '더 인간 같음'의 측면에서 훨씬 좋은 점수를 받았습니다. 현재 Meena의 소스 코드를 구할 수 없어서 대화 로그만 가지고 비교를 했습니다.

 

모델의 구조에서도 큰 차이가 있습니다. Meena는 트랜스포머 Seq2Seq로 대화 히스토리를 입력받아 문장을 생성하는 단순한 방식입니다. 반면에 BlenderBot는 이름 그대로 3가지의 특성을 조합했습니다. 그동안 페이스북에서 독립적으로 연구하던 모델들을 하나로 합쳤다고 보면 됩니다.

 

첫째, 성격입니다. 페르소나 문장들이 미리 주어지면 거기에 맞게 대화합니다. 둘째, 공감입니다. 감정적으로 같이 기뻐하거나 슬퍼해주는 대답을 합니다. 셋째, 지식입니다. 위키피디아에서 검색을 하여 세부적인 정보를 알려줍니다.

 

먼저 Retriever에서 3개의 모델을 검색하여 각각 최고 답변들을 선택합니다. 이는 데이터셋에 있는 사람이 직접 작성한 문장들입니다(지식 모델은 위키피디아의 글을 추출). 그다음 이 답변들을 하나로 묶어 Generator에 넣고 문장을 생성합니다. 이렇게 하면 Seq2Seq만 사용한 것보다 훨씬 생생하고 구체적인 답변을 할 수 있습니다.

 

 

 

아래 Colab에서 직접 실행이 가능합니다. 90M, 2.7B, 9.4B의 파라미터를 선택할 수 있습니다. 다만 가장 큰 모델은 GPU 메모리가 부족해서인지 에러가 납니다. 얼마 전 소개해드린 MS의 DialoGPT는 같은 말을 반복하거나 대답이 짧은 편이었습니다. 하지만 BlenderBot는 거의 막힘없이 대화가 이어졌습니다. 지금까지 제가 해본 딥러닝 일상대화 중에서 최고였습니다. 또한 '미국의 대통령이 누구야', '그 사람의 나이는?' 같이 정보검색과 문맥처리도 뛰어났습니다.

 

작년부터 딥러닝 자연어처리가 급격하게 발전하는 느낌입니다. 물론 아직 부족한 부분이 많지만, 거의 상용화 수준까지 도달한 것 같습니다. 몇년 안에 딥러닝으로 문장을 생성하는 챗봇이 일상화될지도 모르겠습니다.

 

 

 

< Colab 테스트 >

-> https://colab.research.google.com/…/1Pu4nt4o6hyI6g-OdAr9zeZ…

List of Articles
제목 글쓴이 날짜 조회 수sort
Jay Alammar의 트랜스포머 한글 번역글 깊은바다 2019-05-09 942
가짜뉴스를 생성 또는 판별하는 딥러닝 모델 - Grover 깊은바다 2019-06-01 916
프로그램을 작성하는 딥마인드의 알파코드 file 깊은바다 2022-02-04 903
End-To-End Memory Networks - 자연어 질문에 대답하는 모델 [2] 깊은바다 2017-08-21 903
최신 자연어처리 모델 소개 file 깊은바다 2022-07-11 887
GPT3 유료화 기능 소개 영상 깊은바다 2020-06-15 875
LG 사이언스파크에서 만든 한글 MRC(기계독해) 데모 file [2] 깊은바다 2020-03-07 871
메타, GPT-3와 동급인 175B의 초거대모델 무료 공개 깊은바다 2022-05-04 868
질의응답을 위한 딥러닝 모델인 메모리 네트워크 정리 file 깊은바다 2018-09-26 864
챗봇의 슬롯 채우기(Slot Filling)와 DST(Dialogue State Tracking) file 깊은바다 2021-08-19 857
Word2Vec의 학습 방식 깊은바다 2019-01-17 855
유저 피드백을 받아 지속적으로 학습을 하는 챗봇 - BlenderBot 3 file 깊은바다 2022-08-06 844
스캐터랩의 핑퐁팀, 새로운 생성 모델 챗봇 데모 공개 깊은바다 2020-11-02 839
페이스북의 일상대화 딥러닝 모델 - BlenderBot file 깊은바다 2020-05-01 831
딥러닝을 사용하여 심심이의 나쁜말 필터링 기능 구현 깊은바다 2019-08-14 830