레플리
글 수 288

검색기반 거대모델인 딥마인드의 RETRO

조회 수 512 추천 수 0 2021.12.20 18:26:23


 

https://deepmind.com/research/publications/2021/improving-language-models-by-retrieving-from-trillions-of-tokens

 

 

 

얼마전 딥마인드가 만든 Gopher를 소개한 적이 있습니다. GPT-3의 1750억개보다 큰 2800억개의 파라미터를 가진 거대모델입니다. 이와 동시에 RETRO(Retrieval-Enhanced Transformer)도 같이 공개했었는데요. 개인적으로는 Gopher보다 훨씬 더 흥미로웠습니다.

 

지금까지 거대모델은 모든 정보를 파라미터 안에 기억하고 있었습니다. 더 많이 학습하기 위해서는 필연적으로 모델의 크기도 커질 수 밖에 없습니다. 반면에 RETRO는 75억 파라미터로 작은 편이지만 Gopher를 능가하는 성능을 보입니다. 16개의 벤치마크 중 9개에서 더 높은 점수를 얻었습니다

 

RETRO는 이름처럼 검색을 기반으로 한 거대모델입니다. 모든 것을 기억하지 않고 먼저 외부에서 정보를 검색합니다. 그리고 이를 활용하여 결과를 생성합니다. ODQA(Open-Domain Question Answering)와 비슷합니다. 보통 ODQA는 Retriever에서 문서를 찾고, 이를 그대로 Reader의 입력으로 넣습니다. 반면에 RETRO는 검색으로 찾은 정보를 임베딩으로 변환하고 cross-attention으로 모델에 결합했습니다.

 

알파고도 그랬지만 딥마인드가 인공지능의 새로운 방향을 계속 보여주고 있습니다. 앞으로 거대모델의 경쟁에서 RETRO가 큰 변화를 가져오지 않을까 생각됩니다.

 

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
BERT 톺아보기 깊은바다 2018-12-17 26396
딥러닝을 사용한 챗봇 개발방법 정리 file 깊은바다 2018-02-03 25560
초거대모델의 파인튜닝 방법 - P-tuning과 LoRA file 깊은바다 2022-04-05 12298
RAG(Retrieval-Augmented Generation) - LLM의 환각을 줄이는 방법 file 깊은바다 2023-07-04 10031
글쓰기 보조 서비스 JasperAI, ChatGPT 때문에 어려움 직면 깊은바다 2023-03-01 9694
딥러닝 RNN으로 구현한 챗봇 깊은바다 2017-08-01 8148
문장을 학습하는 딥러닝 RNN의 Seq2Seq 모델 설명 file 깊은바다 2017-09-15 7328
챗봇에 딥러닝 학습을 적용하기 어려운 이유 file 깊은바다 2018-03-23 6649
KoGPT2, KoBERT, KoELECTRA로 만든 심리상담 챗봇 file 깊은바다 2020-08-05 6421
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트 file 깊은바다 2019-01-28 6181
SKT가 공개한 한글 GPT2 - KoGPT2 깊은바다 2020-02-02 5305
챗봇에서 유사한 문장 자동인식 방법 file 깊은바다 2018-04-27 5182
네이버 영화리뷰 감정분석 with Hugging Face BERT file 깊은바다 2019-12-17 4688
사전학습을 통한 구글의 자연어처리 언어 모델 - BERT file 깊은바다 2018-11-03 4301
인라이플의 한글 BERT 대형모델 깊은바다 2020-05-18 4247