레플리
글 수 281

페이스북의 일상대화 딥러닝 모델 - BlenderBot

조회 수 937 추천 수 0 2020.05.01 03:05:23


K-001.png

 

https://ai.facebook.com/blog/state-of-the-art-open-source-chatbot/

 

 

 

올해 초에 구글이 딥러닝 일상대화 챗봇인 Meena를 발표했습니다. 어제 이를 능가하는 새로운 모델이 공개되었습니다. 바로 페이스북의 BlenderBot입니다. 우선 파라미터가 Meena의 2.6B에서 3배 늘어난 9.4B입니다. 또한 사람의 평가 결과, '더 오래 얘기하고 싶음'과 '더 인간 같음'의 측면에서 훨씬 좋은 점수를 받았습니다. 현재 Meena의 소스 코드를 구할 수 없어서 대화 로그만 가지고 비교를 했습니다.

 

모델의 구조에서도 큰 차이가 있습니다. Meena는 트랜스포머 Seq2Seq로 대화 히스토리를 입력받아 문장을 생성하는 단순한 방식입니다. 반면에 BlenderBot는 이름 그대로 3가지의 특성을 조합했습니다. 그동안 페이스북에서 독립적으로 연구하던 모델들을 하나로 합쳤다고 보면 됩니다.

 

첫째, 성격입니다. 페르소나 문장들이 미리 주어지면 거기에 맞게 대화합니다. 둘째, 공감입니다. 감정적으로 같이 기뻐하거나 슬퍼해주는 대답을 합니다. 셋째, 지식입니다. 위키피디아에서 검색을 하여 세부적인 정보를 알려줍니다.

 

먼저 Retriever에서 3개의 모델을 검색하여 각각 최고 답변들을 선택합니다. 이는 데이터셋에 있는 사람이 직접 작성한 문장들입니다(지식 모델은 위키피디아의 글을 추출). 그다음 이 답변들을 하나로 묶어 Generator에 넣고 문장을 생성합니다. 이렇게 하면 Seq2Seq만 사용한 것보다 훨씬 생생하고 구체적인 답변을 할 수 있습니다.

 

 

 

아래 Colab에서 직접 실행이 가능합니다. 90M, 2.7B, 9.4B의 파라미터를 선택할 수 있습니다. 다만 가장 큰 모델은 GPU 메모리가 부족해서인지 에러가 납니다. 얼마 전 소개해드린 MS의 DialoGPT는 같은 말을 반복하거나 대답이 짧은 편이었습니다. 하지만 BlenderBot는 거의 막힘없이 대화가 이어졌습니다. 지금까지 제가 해본 딥러닝 일상대화 중에서 최고였습니다. 또한 '미국의 대통령이 누구야', '그 사람의 나이는?' 같이 정보검색과 문맥처리도 뛰어났습니다.

 

작년부터 딥러닝 자연어처리가 급격하게 발전하는 느낌입니다. 물론 아직 부족한 부분이 많지만, 거의 상용화 수준까지 도달한 것 같습니다. 몇년 안에 딥러닝으로 문장을 생성하는 챗봇이 일상화될지도 모르겠습니다.

 

 

 

< Colab 테스트 >

-> https://colab.research.google.com/…/1Pu4nt4o6hyI6g-OdAr9zeZ…

List of Articles
제목 글쓴이 날짜sort 조회 수
GPT-4의 특징 정리 file 깊은바다 2023-03-15 1368
7B의 Alpaca가 175B의 GPT-3.5와 동급의 성능을 보임 file 깊은바다 2023-03-14 958
Together가 공개한 오픈소스 LLM - OpenChatKit 깊은바다 2023-03-12 419
ChatGPT 영어회화 깊은바다 2023-03-09 217
노암 촘스키의 ChatGPT 기고문 깊은바다 2023-03-09 316
GenAI 컨퍼런스 대담 요약 - 어떻게 AI가 비즈니스를 재편할 것인가 깊은바다 2023-03-08 318
ChatGPT로 폴 그레이엄 에세이 검색해서 대답 file 깊은바다 2023-03-03 249
ChatGPT API 정식 공개 file 깊은바다 2023-03-02 449
글쓰기 보조 서비스 JasperAI, ChatGPT 때문에 어려움 직면 깊은바다 2023-03-01 9692
네이버 케어콜의 장기기억 기능 - 맞춤 케어를 위한 기억하기 챗봇 file 깊은바다 2023-03-01 293
OpenAI의 샘 알트만, AGI를 향한 계획 깊은바다 2023-02-25 209
인공지능과 친구가 될 수 있을까요 - 이루다의 페르소나 구축 방법 file 깊은바다 2023-02-21 335
ChatGPT의 가장 큰 특징인 in-context learning file 깊은바다 2023-02-21 1334
OpenAI가 ChatGPT를 개발할 수 있었던 이유 깊은바다 2023-02-20 175
콜센터 챗봇에 ChatGPT를 적용하는 방법 깊은바다 2023-02-20 321