글 수 161


작년에 페이스북에서 Blenderbot1.0을 발표했습니다. 페르소나, 공감, 위키피디아 검색의 3가지 모델을 하나로 블렌드하여 대답을 하는 딥러닝 챗봇이었습니다.

 

http://aidev.co.kr/chatbotdeeplearning/9114

 

 

 

이번에는 새롭게 Blenderbot2.0이 나왔습니다. 가장 큰 특징은 2가지입니다.

 

첫째, 1.0에서는 위키피디아에서 다운받은 정보를 사용했지만 이번에는 실시간으로 검색엔진에서 정보를 찾습니다. 사진을 보면 완다비전에 대해서 물어봤을때의 대답을 비교했습니다. 1.0은 최신 드라마인 완다비전이 위키피디아에 없어서 모른다고 합니다. 반면에 2.0에서는 검색에서 찾은 정보를 활용해 주인공 이름까지 정확하게 맞춥니다.

 

K-001.png

 

둘째, 이전에 했던 말을 기억하고 이를 사용합니다. GPT-3같은 경우도 방금 전에 했던 대화 문맥을 이해하고 대답합니다. 이는 그 만큼의 문장을 한 번에 입력으로 넣기 때문입니다. 하지만 Blenderbot2.0은 다릅니다. 실제로 문장을 장기기억에 벡터로 저장합니다. 그래서 몇시간, 며칠, 몇달 뒤에도 우리가 나누었던 대화를 기억합니다.

 

이때 용량을 줄이기 위해 문장을 미리 요약하여 중요한 정보만 추출합니다. 이렇게 저장된 장기기억은 neural-retrieval 방식으로 검색하여 어떤 기억이 지금 대답에 맞는지 선택합니다. 두번째 사진을 보면 각 대답을 생성하기 위해 memory에서 어떤 정보를 사용했는지 표시되어 있습니다. 이 논문에 자세한 방법이 나와있습니다(https://parl.ai/projects/msc/).

 

K-002.png

 

K-003.png

 

 

 

요즘 GPT-3 같은 거대모델이 자연어처리의 새로운 트렌드가 되었습니다. 하지만 한 번 학습이 끝나면 최신 정보들이 적용이 안되는 문제가 있습니다. 이렇게 인터넷 검색 기능을 활용하는게 하나의 대안이 될 수도 있습니다.

 

무엇보다 장기기억을 저장할 수 있다는 것이 가장 인상적입니다. 저도 누군가 이런 문제를 해결해 줄거라 기대를 했는데 역시 페이스북이네요. 자연어처리 분야에서 새로운 시도를 꾸준히 보여주고 있습니다.

 

사람이 기계에게 애착을 느끼려면 가장 중요한 것은 기억입니다. 내가 했던 말, 우리가 나누었던 경험을 공유하지 못한다면 언제나 새로운 타인일 뿐입니다. 기억이야 말로 그 사람의 정체성이니까요. 앞으로 5년, 10년이면 영화속에서나 보던 챗봇이 등장하게 될까요. Her의 사만다가 이제 그리 멀지 않은 듯 합니다.

 

 

 

< 블로그 >

https://ai.facebook.com/.../blender-bot-2-an-open-source.../

 

List of Articles
제목 글쓴이 날짜 조회 수
문장을 벡터로 변환하는 방법들 깊은바다 2021-09-16 66
네이버의 초거대모델인 HyperCLOVA 논문 file 깊은바다 2021-09-13 98
챗봇의 슬롯 채우기(Slot Filling)와 DST(Dialogue State Tracking) file 깊은바다 2021-08-19 152
죽은 약혼자를 챗봇으로 살려낸 남자 - Project December 깊은바다 2021-07-27 201
인터넷 검색을 하고 장기기억을 저장하는 페이스북의 챗봇 - Blenderbot2.0 file 깊은바다 2021-07-19 233
GPT-3 데모 사이트 - gpt3demo.com 깊은바다 2021-07-13 231
6B 파라미터의 GPT-J_6B 오픈소스 모델 깊은바다 2021-07-01 160
GPT-3를 활용하여 주석을 코드로 바꿔주는 GitHub Copilot 깊은바다 2021-06-30 147
구글의 딥러닝 대화 모델 - LaMDA 깊은바다 2021-06-13 256
일상대화 딥러닝 모델들을 쉽게 실행할 수 있는 Openchat 깊은바다 2021-06-01 220
GPT-3를 사용하여 코딩을 하는 MS의 파워FX 깊은바다 2021-06-01 131
텍스트 스타일을 바꾸는 딥러닝 기술 깊은바다 2021-06-01 137
KoGPT2 v2.0 공개 깊은바다 2021-05-03 359
이루다 같은 챗봇은 어떤 원리로 작동하는 걸까? 깊은바다 2021-04-03 454
이성에게 말을 거는 작업멘트를 GPT-3로 생성 file 깊은바다 2021-03-24 362