메타의 BlenderBot 3가 공개되었습니다. BlenderBot 1은 페르소나, 공감, 위키피디아 검색 등 3개의 모델을 합친 대화모델이었습니다. BlenderBot 2는 위키피디아가 아닌 인터넷에서 검색을 하고, 장기기억에 저장된 정보를 사용할 수 있었습니다.

BlenderBot 3는 이전 버전의 인터넷 검색과 장기기억 기능을 그대로 계승했습니다. 거기에 2가지 특징을 더 추가했습니다. 첫째, BlenderBot 2보다 58배 더 커진 175B의 파라미터를 가지고 있습니다. 둘째, 사용자 피드백을 받아 계속적으로 학습을 하는 continual learning이 가능합니다.

먼저 전체 구조를 살펴보겠습니다. 사용자 입력이 들어오면 Internet Search Decision에서 인터넷 검색이 필요한지 검사합니다. 동시에 LTM Access Decision에서 장기기억 검색을 해야하는지 판단합니다. 이 2가지 결과를 합쳐 Generate Dialogue Response에서 최종 대답을 생성합니다. 그다음 Generate a LT Memory에서 대답을 요약하여 장기기억에 임베딩으로 저장합니다.

사용자는 챗봇의 대답에 좋아요/싫어요를 누를 수 있습니다. 싫어요의 경우는 주제 벗어남, 사실과 다름, 무례하고 부적절함, 스팸이나 광고, 기타 등으로 자세하게 구분이 가능합니다. 또한 세부정보 화면에서는 이 대답이 어떤 인터넷 검색이나 장기기억 항목을 사용했는지 볼 수 있습니다.

InstructGPT에서도 사전훈련된 모델을 사람이 평가한 데이터로 다시 파인튜닝을 하여 성능을 높였습니다. 하지만 InstructGPT는 따로 고용된 크라우드워커였지만, BlenderBot 3는 실제 사용자들의 의견을 반영했다는게 큰 차이점입니다. 크라우드워커에게 별도로 데이터를 수집하는 것과 달리, 출시 후 피드백을 받아 지속적으로 모델을 향상시킬 수 있다는 점에서 더욱 유리합니다.

또 한가지 특징은 DIRECTOR라는 모델입니다. DIRECTOR에는 일반 언어모델인 LM HEAD와 분류를 위한 CLASS HEAD 2가지가 결합되어 있습니다. LM HEAD에서 다음 토큰을 생성하고 CLASS HEAD에서 이 토큰이 올바른지 분류합니다. CLASS HEAD의 데이터로 좋아요/싫어요의 유저 피드백을 적용했습니다.

무엇보다 놀라운 점은 BlenderBot 3를 모든 사람이 쓸 수 있게(지금은 미국에서만 가능) 공개했다는 것입니다. 초거대모델이야 그렇다고 해도 개인화된 장기기억을 스케일업하여 구현했다는게 대단합니다. 나와의 경험을 공유하고 나를 기억해주는 챗봇. BlenderBot 3가 대화 인공지능의 새로운 세상을 열 수 있을까요.

< 블로그 >

https://ai.facebook.com/.../blenderbot-3-a-175b.../

< 논문 >

https://parl.ai/projects/bb3/#papers

< Live Demo >

https://blenderbot.ai/

< BlenderBot 1&2 >

http://aidev.co.kr/chatbotdeeplearning/9114

http://aidev.co.kr/chatbotdeeplearning/10629