글 수 178

구글의 대화기반 초거대모델 LaMDA, 논문 공개

조회 수 909 추천 수 0 2022.02.08 19:25:47


2021년 구글 I/O에서 LaMDA(Language Models for Dialog Applications)를 선보였습니다. 이름 그대로 대화에 특화된 초거대모델입니다. 당시 명왕성을 소개하는 데모를 보여줬는데요. 그중 명왕성에 대한 사실들을 정확히 알려주며 자연스럽게 질의응답을 하는게 정말 놀라웠습니다. 당시에는 모델에 대한 구체적인 정보는 비밀이었는데, 최근에 논문으로 공개되었습니다.

 

우선 파라미터 크기는 1370억으로 GPT-3의 1750억에 비해 큰 차이가 나지 않습니다. 또한 다음 토큰을 예측하면서 스스로 학습하는 방식도 동일합니다. 하지만 거기에 직접 라벨링한 데이터로 다시 파인튜인을 한게 가장 큰 차이점입니다. GPT-3 역시 InstructGPT에서 이렇게 사람이 가르치는 기법을 도입했었습니다(http://aidev.co.kr/chatbotdeeplearning/11105). 다만 InstructGPT와 달리 Quality, Safety, Groundedness로 분류하여 재학습을 했습니다.

 

 

 

Quality는 문장의 품질입니다. 예전 Meena에서 SSA라는 측정항목을 정의했습니다. Sensibleness는 말이 되는지이고, Specipicity는 특별한 뜻이 있는지입니다. 'Ok'나 'I don't know' 같은 대답은 말은 되지만 별로 특별하지는 않습니다. 그래서 두가지 항목을 모두 만족해야만 좋은 대답으로 평가합니다. LaMDA는 여기에 Interestingness를 추가했습니다. 딱딱하거나 단조롭지 않고 재미있는 문장이 나오도록 하기 위해서입니다. Safety는 편향이나 해로운 뜻이 포함되었는지 판단하는 지표입니다.

 

LaMDA가 문장을 생성하면 사람이 Quality와 Safety를 수치로 평가합니다. 이렇게 만든 평가 수치를 문장과 합쳐서 다음과 같이 새로운 데이터셋을 만듭니다. <What’s up? RESPONSE not much. SENSIBLE 1> What's up?은 질문이고 not much는 대답입니다. 그 뒤의 SENSIBLE은 말이 되는가 입니다. SENSIBLE 말고 다양한 지표들을 넣을 수 있습니다. 이렇게 하나의 모델에 문장생성과 분류를 동시에 하는 것이 큰 특징입니다. 파인튜닝이 끝나면 모델은 대답과 평가지표를 같이 생성합니다. 이때 평가 수치가 좋은 문장만 골라서 최종 대답을 합니다.

 

K-001.png

 

K-002.png

 

Quality와 Satety와 달리 Groundedness는 파인튜닝 방법이 조금 다릅니다. 우선 TS(Toolset)이란 모듈이 만듭니다. TS는 쿼리를 넣으면 인터넷에서 정보를 찾아 컨텍스트를 반환하는 기능을 합니다. 예를 들어, '한국의 대통령이 누구야'라고 TS에 넣으면 위키 같은 페이지에서 '한국의 대통령은 문재인'이란 문장이 포함된 컨텍스트를 반환합니다.

 

이전 Quality와 Satefy는 라벨러가 단지 문장을 수치로만 평가했습니다. 하지만 Groundedness에서는 질문을 TS에 넣어서 올바른 컨텍스트를 찾습니다. 거기에 라벨러가 직접 질문에 맞게 컨텍스트를 참조하여 대답을 작성합니다. 이렇게 만든 데이터셋으로 파인튜닝을 합니다. 이때 모델은 라벨러와 똑같이 TS를 사용해서 최종 대답을 생성합니다.

 

K-003.png

 

 

최근 초거대모델의 트렌드가 2가지인 것 같습니다. 첫째, OpenAI의 InstructGPT처럼 자기지도학습으로 사전훈련 후 사람이 직접 가르치는 파인튜닝을 거칩니다. 둘째, 메타의 Blenderbot이나 딥마인드의 RETRO처럼 외부의 정보를 검색하여 대답을 생성합니다. 구글의 LaMDA는 이 두가지 요소가 모두 포함되어 있습니다. 앞으로 또 어떤 새로운 기술들이 적용될지 기대됩니다.

 

K-004.png

 

K-005.png

 

 

 

< LaMDA 발표영상 >

https://www.youtube.com/watch?v=aUSSfo5nCdM

 

< 최강 챗봇 등장! 구글 람다(LaMDA) >

https://jiho-ml.com/weekly-nlp-50/

 

< 구글 블로그 >

https://ai.googleblog.com/.../lamda-towards-safe-grounded...

 

< 논문 >

https://arxiv.org/abs/2201.08239

 

List of Articles
제목 글쓴이 날짜sort 조회 수
러시아의 구글 얀덱스, 100B 초거대모델 무료 공개 깊은바다 2022-06-26 98
구글의 초거대모델 PaLM의 추론과 상식 능력 file 깊은바다 2022-05-20 571
글자, 사진, 영상을 동시에 처리하는 딥마인드의 딥러닝 모델 - Flamingo file 깊은바다 2022-05-10 660
메타, GPT-3와 동급인 175B의 초거대모델 무료 공개 깊은바다 2022-05-04 717
GPT-3보다 3배 더 큰 구글의 초거대모델, PaLM file 깊은바다 2022-04-07 1068
초거대모델의 파인튜닝 방법 - P-tuning과 LoRA file 깊은바다 2022-04-05 1365
교육용 챗봇의 미래!? 구글 람다 (LaMDA) 깊은바다 2022-03-11 1067
하이퍼클로바 활용예 및 사용가이드 file 깊은바다 2022-03-05 1132
네이버의 초거대모델인 하이퍼클로바 사용 후기 깊은바다 2022-02-14 1036
구글의 대화기반 초거대모델 LaMDA, 논문 공개 file 깊은바다 2022-02-08 909
프로그램을 작성하는 딥마인드의 알파코드 file 깊은바다 2022-02-04 845
GPT-3를 강화학습으로 업그레이드한 InstructGPT file 깊은바다 2022-01-30 1162
DALL-E를 능가하는 OpenAI의 GLIDE 깊은바다 2021-12-27 569
검색기반 거대모델인 딥마인드의 RETRO 깊은바다 2021-12-20 361
HyperCLOVA로 만드는 캐릭터 챗봇 file 깊은바다 2021-11-26 444