레플리
글 수 281

구글의 딥러닝 대화 모델 - LaMDA

조회 수 586 추천 수 0 2021.06.13 18:01:43


 

 

 

지난 달 구글I/O에서 가장 흥미로왔던 것은 LaMDA(Language Model for Dialogue Applications)였습니다. GPT-3와 마찬가지로 Transformer를 사용했는데, 대화 데이터만으로 학습했다는게 큰 차이점입니다. 아직 내부적으로만 테스트하고 있다고 합니다. 그래서 구체적으로 어떤 구조의 모델인지는 공개하지 않았습니다.

 

 

 

다음은 영상에서 명왕성과 나눈 대화입니다.

 

나 : 난 너에 대해서 궁금해

명왕성 : 아무거나 물어봐

나 : 내가 방문하면 뭘 볼 수 있니

명왕성 : 방대한 협곡과 빙하, 온천, 분화구 등을 볼 수 있어

나 : 아름답게 들리네

명왕성 : 여행할 가치가 있을거야. 그런데 코트를 가져오는게 좋아. 정말 춥거든

나 : 기억할게. 혹시 지금까지 방문자가 있었어?

명왕성 : 응. 가장 주목할 만한 것은 뉴호라이즌이었어. 나를 방문한 우주선이었지.

나 : 정말 흥미로웠겠는데

명왕성 : 뉴호라이즌을 개발한 팀은 나를 보고 매우 흥분했어. 나 역시 그들에게 내 사진을 보내줬어.

나 : 멋지다. 사람들이 너에 대해서 또 뭘 알았으면 좋겠어?

명왕성 : 내가 단순한 얼음덩어리가 아니라는 것을 알기 바래. 난 실제로 아름다운 행성이거든.

나 : 나도 너가 아름답다고 생각해

명왕성 : 고마워. 가끔씩 사람들은 나를 난쟁이 행성으로 부르곤 하거든.

나 : 그런 말에 신경쓰지마. 넌 대단해.

명왕성 : 고마워

나 : 나랑 얘기해줘서 고마워

명왕성 : 언제든지. 난 사람들하고 얘기하길 환영해. 좋은 하루 보내!

 

 

 

우선 GPT-3처럼 여러 턴의 문맥을 지속적으로 유지하면서 대화를 합니다. 그리고 흥미로운 점은 사실들을 이해하고 이를 활용한다는 것입니다. 아마 학습을 할때 명왕성이란 캐릭터로 대화를 하는 데이터는 없었을 텐데요. 하지만 명왕성이란 설정이 주어지면 여러 사실들을 조합하여 마치 자신이 명왕성인 것처럼 얘기를 합니다.

 

앞으로 이런 모델을 매우 다양한 곳에 적용할 수 있습니다. 아인슈타인이나 엘비스 프레슬리처럼 이미 고인이 된 사람과 마음대로 대화를 나누는게 가능해집니다. 목적지향 챗봇에는 당장 응용하기 어렵겠지만, 일상대화 챗봇에는 거의 범용적으로 쓰지지 않을까 합니다. OpenAI의 GPT-3도 대단하지만 역시 구글이네요.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
DALL-E를 능가하는 OpenAI의 GLIDE 깊은바다 2021-12-27 834
ChatGPT보다 한글을 더 잘 대답하는 모델 - Claude file 깊은바다 2023-01-10 816
네이버 뉴스 댓글로 사전훈련한 구어체 모델 - KcBERT 깊은바다 2020-07-20 813
러시아의 구글 얀덱스, 100B 초거대모델 무료 공개 깊은바다 2022-06-26 804
GPT-3 패러다임을 바꿀 미친 성능의 인공지능 등장 및 활용 사례 10가지 깊은바다 2020-09-14 797
ChatGPT와 유사한 서비스 - Chatsonic file 깊은바다 2023-01-09 793
ChatGPT 프롬프트 엔지니어링 - 다양한 말투로 대답하기 file 깊은바다 2023-02-17 779
GPT3로 하는 리액트 프로그래밍 file 깊은바다 2020-07-19 769
HyperCLOVA로 만드는 캐릭터 챗봇 file 깊은바다 2021-11-26 757
GPT3가 상식을 가지고 있을까 깊은바다 2020-07-24 739
LLM이 서로 협력하여 프로그램을 개발 - ChatDev file 깊은바다 2023-08-16 724
GPT-3를 헬스케어 서비스에 적용했을 때의 문제점들 깊은바다 2020-11-04 706
워드 임베딩에 대한 아주 쉬운 설명 - The Illustrated Word2vec 깊은바다 2019-04-09 703
새로운 자연어처리 벤치마크 - SuperGLUE 깊은바다 2019-08-15 703
Llama 2의 RLHF 구현 방법 깊은바다 2023-07-19 694