레플리
글 수 281


작년에 페이스북에서 Blenderbot 1을 발표했습니다. 페르소나, 공감, 위키피디아 검색의 3가지 모델을 하나로 블렌드하여 대답을 하는 딥러닝 챗봇이었습니다.

 

http://aidev.co.kr/chatbotdeeplearning/9114

 

 

 

이번에는 새롭게 Blenderbot 2가 나왔습니다. 가장 큰 특징은 2가지입니다.

 

첫째, 1.0에서는 위키피디아에서 다운받은 정보를 사용했지만 이번에는 실시간으로 검색엔진에서 정보를 찾습니다. 사진을 보면 완다비전에 대해서 물어봤을때의 대답을 비교했습니다. 1.0은 최신 드라마인 완다비전이 위키피디아에 없어서 모른다고 합니다. 반면에 2.0에서는 검색에서 찾은 정보를 활용해 주인공 이름까지 정확하게 맞춥니다.

 

K-001.png

 

둘째, 이전에 했던 말을 기억하고 이를 사용합니다. GPT-3같은 경우도 방금 전에 했던 대화 문맥을 이해하고 대답합니다. 이는 그 만큼의 문장을 한 번에 입력으로 넣기 때문입니다. 하지만 Blenderbot 2는 다릅니다. 실제로 문장을 장기기억에 벡터로 저장합니다. 그래서 몇시간, 며칠, 몇달 뒤에도 우리가 나누었던 대화를 기억합니다.

 

이때 용량을 줄이기 위해 문장을 미리 요약하여 중요한 정보만 추출합니다. 이렇게 저장된 장기기억은 neural-retrieval 방식으로 검색하여 어떤 기억이 지금 대답에 맞는지 선택합니다. 두번째 사진을 보면 각 대답을 생성하기 위해 memory에서 어떤 정보를 사용했는지 표시되어 있습니다. 이 논문에 자세한 방법이 나와있습니다(https://parl.ai/projects/msc/).

 

K-002.png

 

K-003.png

 

 

 

요즘 GPT-3 같은 거대모델이 자연어처리의 새로운 트렌드가 되었습니다. 하지만 한 번 학습이 끝나면 최신 정보들이 적용이 안되는 문제가 있습니다. 이렇게 인터넷 검색 기능을 활용하는게 하나의 대안이 될 수도 있습니다.

 

무엇보다 장기기억을 저장할 수 있다는 것이 가장 인상적입니다. 저도 누군가 이런 문제를 해결해 줄거라 기대를 했는데 역시 페이스북이네요. 자연어처리 분야에서 새로운 시도를 꾸준히 보여주고 있습니다.

 

사람이 기계에게 애착을 느끼려면 가장 중요한 것은 기억입니다. 내가 했던 말, 우리가 나누었던 경험을 공유하지 못한다면 언제나 새로운 타인일 뿐입니다. 기억이야 말로 그 사람의 정체성이니까요. 앞으로 5년, 10년이면 영화속에서나 보던 챗봇이 등장하게 될까요. Her의 사만다가 이제 그리 멀지 않은 듯 합니다.

 

 

 

< 블로그 >

https://ai.facebook.com/.../blender-bot-2-an-open-source.../

 

List of Articles
제목 글쓴이 날짜 조회 수
Poe에 추가된 업스테이지의 LLM, Solar-70b file 깊은바다 2023-09-18 414
RAG 아키텍처를 위한 임베딩 모델의 선택에 대해 깊은바다 2023-09-14 496
LLM의 미래는 자율행동과 멀티 에이전트 깊은바다 2023-08-30 291
LLM이 서로 협력하여 프로그램을 개발 - ChatDev file 깊은바다 2023-08-16 721
GPT-4에 CoT 프롬프를 적용하여 2023 수능 국어 1등급 달성 file 깊은바다 2023-08-08 592
LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개 file 깊은바다 2023-07-27 670
RAG 아키텍처의 이해 깊은바다 2023-07-23 1292
GPT-4 세부구조에 대한 정보 유출 깊은바다 2023-07-20 452
Llama 2의 RLHF 구현 방법 깊은바다 2023-07-19 693
한국어 LLM 민주화의 시작 KoAlpaca file 깊은바다 2023-07-17 1016
레포트를 써주는 LLM - GPT Researcher file 깊은바다 2023-07-13 353
LLM 챗봇의 특징 2가지 - RAG와 Function 깊은바다 2023-07-06 1147
RAG(Retrieval-Augmented Generation) - LLM의 환각을 줄이는 방법 file 깊은바다 2023-07-04 9258
Generative AI — 시장 구조, 기회, moat에 대한 몇 가지 생각 깊은바다 2023-06-27 298
ChatGPT plugin와 Autonomous Agent, 그리고 새로운 패러다임의 시작 깊은바다 2023-06-27 203