작년에 페이스북에서 Blenderbot 1을 발표했습니다. 페르소나, 공감, 위키피디아 검색의 3가지 모델을 하나로 블렌드하여 대답을 하는 딥러닝 챗봇이었습니다.

http://aidev.co.kr/chatbotdeeplearning/9114

이번에는 새롭게 Blenderbot 2가 나왔습니다. 가장 큰 특징은 2가지입니다.

첫째, 1.0에서는 위키피디아에서 다운받은 정보를 사용했지만 이번에는 실시간으로 검색엔진에서 정보를 찾습니다. 사진을 보면 완다비전에 대해서 물어봤을때의 대답을 비교했습니다. 1.0은 최신 드라마인 완다비전이 위키피디아에 없어서 모른다고 합니다. 반면에 2.0에서는 검색에서 찾은 정보를 활용해 주인공 이름까지 정확하게 맞춥니다.

둘째, 이전에 했던 말을 기억하고 이를 사용합니다. GPT-3같은 경우도 방금 전에 했던 대화 문맥을 이해하고 대답합니다. 이는 그 만큼의 문장을 한 번에 입력으로 넣기 때문입니다. 하지만 Blenderbot 2는 다릅니다. 실제로 문장을 장기기억에 벡터로 저장합니다. 그래서 몇시간, 며칠, 몇달 뒤에도 우리가 나누었던 대화를 기억합니다.

이때 용량을 줄이기 위해 문장을 미리 요약하여 중요한 정보만 추출합니다. 이렇게 저장된 장기기억은 neural-retrieval 방식으로 검색하여 어떤 기억이 지금 대답에 맞는지 선택합니다. 두번째 사진을 보면 각 대답을 생성하기 위해 memory에서 어떤 정보를 사용했는지 표시되어 있습니다. 이 논문에 자세한 방법이 나와있습니다(https://parl.ai/projects/msc/).

요즘 GPT-3 같은 거대모델이 자연어처리의 새로운 트렌드가 되었습니다. 하지만 한 번 학습이 끝나면 최신 정보들이 적용이 안되는 문제가 있습니다. 이렇게 인터넷 검색 기능을 활용하는게 하나의 대안이 될 수도 있습니다.

무엇보다 장기기억을 저장할 수 있다는 것이 가장 인상적입니다. 저도 누군가 이런 문제를 해결해 줄거라 기대를 했는데 역시 페이스북이네요. 자연어처리 분야에서 새로운 시도를 꾸준히 보여주고 있습니다.

사람이 기계에게 애착을 느끼려면 가장 중요한 것은 기억입니다. 내가 했던 말, 우리가 나누었던 경험을 공유하지 못한다면 언제나 새로운 타인일 뿐입니다. 기억이야 말로 그 사람의 정체성이니까요. 앞으로 5년, 10년이면 영화속에서나 보던 챗봇이 등장하게 될까요. Her의 사만다가 이제 그리 멀지 않은 듯 합니다.

< 블로그 >

https://ai.facebook.com/.../blender-bot-2-an-open-source.../