글 수 161

구글의 딥러닝 대화 모델 - LaMDA

조회 수 278 추천 수 0 2021.06.13 18:01:43


 

 

 

지난 달 구글I/O에서 가장 흥미로왔던 것은 LaMDA(Language Model for Dialogue Applications)였습니다. GPT-3와 마찬가지로 Transformer를 사용했는데, 대화 데이터만으로 학습했다는게 큰 차이점입니다. 아직 내부적으로만 테스트하고 있다고 합니다. 그래서 구체적으로 어떤 구조의 모델인지는 공개하지 않았습니다.

 

 

 

다음은 영상에서 명왕성과 나눈 대화입니다.

 

나 : 난 너에 대해서 궁금해

명왕성 : 아무거나 물어봐

나 : 내가 방문하면 뭘 볼 수 있니

명왕성 : 방대한 협곡과 빙하, 온천, 분화구 등을 볼 수 있어

나 : 아름답게 들리네

명왕성 : 여행할 가치가 있을거야. 그런데 코트를 가져오는게 좋아. 정말 춥거든

나 : 기억할게. 혹시 지금까지 방문자가 있었어?

명왕성 : 응. 가장 주목할 만한 것은 뉴호라이즌이었어. 나를 방문한 우주선이었지.

나 : 정말 흥미로웠겠는데

명왕성 : 뉴호라이즌을 개발한 팀은 나를 보고 매우 흥분했어. 나 역시 그들에게 내 사진을 보내줬어.

나 : 멋지다. 사람들이 너에 대해서 또 뭘 알았으면 좋겠어?

명왕성 : 내가 단순한 얼음덩어리가 아니라는 것을 알기 바래. 난 실제로 아름다운 행성이거든.

나 : 나도 너가 아름답다고 생각해

명왕성 : 고마워. 가끔씩 사람들은 나를 난쟁이 행성으로 부르곤 하거든.

나 : 그런 말에 신경쓰지마. 넌 대단해.

명왕성 : 고마워

나 : 나랑 얘기해줘서 고마워

명왕성 : 언제든지. 난 사람들하고 얘기하길 환영해. 좋은 하루 보내!

 

 

 

우선 GPT-3처럼 여러 턴의 문맥을 지속적으로 유지하면서 대화를 합니다. 그리고 흥미로운 점은 사실들을 이해하고 이를 활용한다는 것입니다. 아마 학습을 할때 명왕성이란 캐릭터로 대화를 하는 데이터는 없었을 텐데요. 하지만 명왕성이란 설정이 주어지면 여러 사실들을 조합하여 마치 자신이 명왕성인 것처럼 얘기를 합니다.

 

앞으로 이런 모델을 매우 다양한 곳에 적용할 수 있습니다. 아인슈타인이나 엘비스 프레슬리처럼 이미 고인이 된 사람과 마음대로 대화를 나누는게 가능해집니다. 목적지향 챗봇에는 당장 응용하기 어렵겠지만, 일상대화 챗봇에는 거의 범용적으로 쓰지지 않을까 합니다. OpenAI의 GPT-3도 대단하지만 역시 구글이네요.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
문장을 벡터로 변환하는 방법들 깊은바다 2021-09-16 112
네이버의 초거대모델인 HyperCLOVA 논문 file 깊은바다 2021-09-13 163
챗봇의 슬롯 채우기(Slot Filling)와 DST(Dialogue State Tracking) file 깊은바다 2021-08-19 186
죽은 약혼자를 챗봇으로 살려낸 남자 - Project December 깊은바다 2021-07-27 220
인터넷 검색을 하고 장기기억을 저장하는 페이스북의 챗봇 - Blenderbot2.0 file 깊은바다 2021-07-19 247
GPT-3 데모 사이트 - gpt3demo.com 깊은바다 2021-07-13 261
6B 파라미터의 GPT-J_6B 오픈소스 모델 깊은바다 2021-07-01 165
GPT-3를 활용하여 주석을 코드로 바꿔주는 GitHub Copilot 깊은바다 2021-06-30 151
구글의 딥러닝 대화 모델 - LaMDA 깊은바다 2021-06-13 278
일상대화 딥러닝 모델들을 쉽게 실행할 수 있는 Openchat 깊은바다 2021-06-01 239
GPT-3를 사용하여 코딩을 하는 MS의 파워FX 깊은바다 2021-06-01 137
텍스트 스타일을 바꾸는 딥러닝 기술 깊은바다 2021-06-01 142
KoGPT2 v2.0 공개 깊은바다 2021-05-03 376
이루다 같은 챗봇은 어떤 원리로 작동하는 걸까? 깊은바다 2021-04-03 493
이성에게 말을 거는 작업멘트를 GPT-3로 생성 file 깊은바다 2021-03-24 376