레플리
글 수 281

페이스북의 일상대화 딥러닝 모델 - BlenderBot

조회 수 937 추천 수 0 2020.05.01 03:05:23


K-001.png

 

https://ai.facebook.com/blog/state-of-the-art-open-source-chatbot/

 

 

 

올해 초에 구글이 딥러닝 일상대화 챗봇인 Meena를 발표했습니다. 어제 이를 능가하는 새로운 모델이 공개되었습니다. 바로 페이스북의 BlenderBot입니다. 우선 파라미터가 Meena의 2.6B에서 3배 늘어난 9.4B입니다. 또한 사람의 평가 결과, '더 오래 얘기하고 싶음'과 '더 인간 같음'의 측면에서 훨씬 좋은 점수를 받았습니다. 현재 Meena의 소스 코드를 구할 수 없어서 대화 로그만 가지고 비교를 했습니다.

 

모델의 구조에서도 큰 차이가 있습니다. Meena는 트랜스포머 Seq2Seq로 대화 히스토리를 입력받아 문장을 생성하는 단순한 방식입니다. 반면에 BlenderBot는 이름 그대로 3가지의 특성을 조합했습니다. 그동안 페이스북에서 독립적으로 연구하던 모델들을 하나로 합쳤다고 보면 됩니다.

 

첫째, 성격입니다. 페르소나 문장들이 미리 주어지면 거기에 맞게 대화합니다. 둘째, 공감입니다. 감정적으로 같이 기뻐하거나 슬퍼해주는 대답을 합니다. 셋째, 지식입니다. 위키피디아에서 검색을 하여 세부적인 정보를 알려줍니다.

 

먼저 Retriever에서 3개의 모델을 검색하여 각각 최고 답변들을 선택합니다. 이는 데이터셋에 있는 사람이 직접 작성한 문장들입니다(지식 모델은 위키피디아의 글을 추출). 그다음 이 답변들을 하나로 묶어 Generator에 넣고 문장을 생성합니다. 이렇게 하면 Seq2Seq만 사용한 것보다 훨씬 생생하고 구체적인 답변을 할 수 있습니다.

 

 

 

아래 Colab에서 직접 실행이 가능합니다. 90M, 2.7B, 9.4B의 파라미터를 선택할 수 있습니다. 다만 가장 큰 모델은 GPU 메모리가 부족해서인지 에러가 납니다. 얼마 전 소개해드린 MS의 DialoGPT는 같은 말을 반복하거나 대답이 짧은 편이었습니다. 하지만 BlenderBot는 거의 막힘없이 대화가 이어졌습니다. 지금까지 제가 해본 딥러닝 일상대화 중에서 최고였습니다. 또한 '미국의 대통령이 누구야', '그 사람의 나이는?' 같이 정보검색과 문맥처리도 뛰어났습니다.

 

작년부터 딥러닝 자연어처리가 급격하게 발전하는 느낌입니다. 물론 아직 부족한 부분이 많지만, 거의 상용화 수준까지 도달한 것 같습니다. 몇년 안에 딥러닝으로 문장을 생성하는 챗봇이 일상화될지도 모르겠습니다.

 

 

 

< Colab 테스트 >

-> https://colab.research.google.com/…/1Pu4nt4o6hyI6g-OdAr9zeZ…

List of Articles
제목 글쓴이 날짜sort 조회 수
Pi를 만든 Inflection AI, MS로 대거 이직한 이유 깊은바다 2024-03-25 44
LLaMA나 Mistral이 계속 무료로 유지될 수 있을까 깊은바다 2024-03-05 143
GPT-3.5와 클로바X 가격 비교 file 깊은바다 2024-02-25 185
OpenAI, 성능은 높아지고 가격은 싸진 새로운 모델 공개 file 깊은바다 2024-01-26 292
AI 휴대용 기기 R1을 만든 Rabbit의 대표 Jesse Lyu 깊은바다 2024-01-12 234
화면을 보고 스마트폰 앱 사용방법을 배우는 모델 - AppAgent file 깊은바다 2024-01-08 269
LLM의 새로운 기법 - Merge와 DPO file 깊은바다 2024-01-02 950
업스테이지 SOLAR 10.7B에서 사용한 DUS 모델 확장 방법 file 깊은바다 2023-12-27 375
죽은 아들의 AI 아바타를 만든 중국의 부모 file 깊은바다 2023-12-21 165
Private sLLM - 어떻게 만들고 어떻게 배포할까? file 깊은바다 2023-12-18 296
GPT-4가 내 여자친구보다 나를 더 잘 알까? file 깊은바다 2023-12-12 147
FSM과 생성 에이전트의 차이점 깊은바다 2023-11-22 164
RAG를 사용한 페르소나 챗봇 - ChatHaruhi file 깊은바다 2023-10-17 632
LLM Multi Agent: Customer Service를 기깔나게 자동화하는 방법 file [1] 깊은바다 2023-10-09 567
사진을 인식할 수 있는 ChatGPT 멀티모달 버전 공개 file 깊은바다 2023-09-26 272