글 수 181


메타의 BlenderBot 3가 공개되었습니다. BlenderBot 1은 페르소나, 공감, 위키피디아 검색 등 3개의 모델을 합친 대화모델이었습니다. BlenderBot 2는 위키피디아가 아닌 인터넷에서 검색을 하고, 장기기억에 저장된 정보를 사용할 수 있었습니다.

 

BlenderBot 3는 이전 버전의 인터넷 검색과 장기기억 기능을 그대로 계승했습니다. 거기에 2가지 특징을 더 추가했습니다. 첫째, BlenderBot 2보다 58배 더 커진 175B의 파라미터를 가지고 있습니다. 둘째, 사용자 피드백을 받아 계속적으로 학습을 하는 continual learning이 가능합니다.

 

 

 

먼저 전체 구조를 살펴보겠습니다. 사용자 입력이 들어오면 Internet Search Decision에서 인터넷 검색이 필요한지 검사합니다. 동시에 LTM Access Decision에서 장기기억 검색을 해야하는지 판단합니다. 이 2가지 결과를 합쳐 Generate Dialogue Response에서 최종 대답을 생성합니다. 그다음 Generate a LT Memory에서 대답을 요약하여 장기기억에 임베딩으로 저장합니다.

 

bb3_1.jpg

 

 

 

사용자는 챗봇의 대답에 좋아요/싫어요를 누를 수 있습니다. 싫어요의 경우는 주제 벗어남, 사실과 다름, 무례하고 부적절함, 스팸이나 광고, 기타 등으로 자세하게 구분이 가능합니다. 또한 세부정보 화면에서는 이 대답이 어떤 인터넷 검색이나 장기기억 항목을 사용했는지 볼 수 있습니다.

 

InstructGPT에서도 사전훈련된 모델을 사람이 평가한 데이터로 다시 파인튜닝을 하여 성능을 높였습니다. 하지만 InstructGPT는 따로 고용된 크라우드워커였지만, BlenderBot 3는 실제 사용자들의 의견을 반영했다는게 큰 차이점입니다. 크라우드워커에게 별도로 데이터를 수집하는 것과 달리, 출시 후 피드백을 받아 지속적으로 모델을 향상시킬 수 있다는 점에서 더욱 유리합니다.

 

bb3_2.jpg

 

bb3_3.jpg

 

 

 

또 한가지 특징은 DIRECTOR라는 모델입니다. DIRECTOR에는 일반 언어모델인 LM HEAD와 분류를 위한 CLASS HEAD 2가지가 결합되어 있습니다. LM HEAD에서 다음 토큰을 생성하고 CLASS HEAD에서 이 토큰이 올바른지 분류합니다. CLASS HEAD의 데이터로 좋아요/싫어요의 유저 피드백을 적용했습니다.

 

bb3_4.jpg

 

bb3_5.jpg

 

 

 

무엇보다 놀라운 점은 BlenderBot 3를 모든 사람이 쓸 수 있게(지금은 미국에서만 가능) 공개했다는 것입니다. 초거대모델이야 그렇다고 해도 개인화된 장기기억을 스케일업하여 구현했다는게 대단합니다. 나와의 경험을 공유하고 나를 기억해주는 챗봇. BlenderBot 3가 대화 인공지능의 새로운 세상을 열 수 있을까요.

 

 

 

< 블로그 >

https://ai.facebook.com/.../blenderbot-3-a-175b.../

 

< 논문 >

https://parl.ai/projects/bb3/#papers

 

< Live Demo >

https://blenderbot.ai/

 

< BlenderBot 1&2 >

http://aidev.co.kr/chatbotdeeplearning/9114

http://aidev.co.kr/chatbotdeeplearning/10629

 

List of Articles
제목 글쓴이 날짜 조회 수
네이버의 초거대모델인 하이퍼클로바 가격 공개 깊은바다 2022-08-24 401
유저 피드백을 받아 지속적으로 학습을 하는 챗봇 - BlenderBot 3 file 깊은바다 2022-08-06 633
최신 자연어처리 모델 소개 file 깊은바다 2022-07-11 767
러시아의 구글 얀덱스, 100B 초거대모델 무료 공개 깊은바다 2022-06-26 596
구글의 초거대모델 PaLM의 추론과 상식 능력 file 깊은바다 2022-05-20 667
글자, 사진, 영상을 동시에 처리하는 딥마인드의 딥러닝 모델 - Flamingo file 깊은바다 2022-05-10 742
메타, GPT-3와 동급인 175B의 초거대모델 무료 공개 깊은바다 2022-05-04 795
GPT-3보다 3배 더 큰 구글의 초거대모델, PaLM file 깊은바다 2022-04-07 1138
초거대모델의 파인튜닝 방법 - P-tuning과 LoRA file 깊은바다 2022-04-05 1782
교육용 챗봇의 미래!? 구글 람다 (LaMDA) 깊은바다 2022-03-11 1131
하이퍼클로바 활용예 및 사용가이드 file 깊은바다 2022-03-05 1267
네이버의 초거대모델인 하이퍼클로바 사용 후기 깊은바다 2022-02-14 1348
구글의 대화기반 초거대모델 LaMDA, 논문 공개 file 깊은바다 2022-02-08 996
프로그램을 작성하는 딥마인드의 알파코드 file 깊은바다 2022-02-04 873
GPT-3를 강화학습으로 업그레이드한 InstructGPT file 깊은바다 2022-01-30 1336