레플리
글 수 281


K-001.png

 

K-002.png

 

K-003.png

 

https://arxiv.org/abs/1811.01241

 

 

 

페이스북에서 발표한 논문인데 위키피디아의 정보를 사용하여 잡담을 할 수 있는 딥러닝 학습 모델입니다.

 

현재 나와있는 챗봇은 보통 위키의 내용을 먼저 지식그래프로 DB에 저장합니다. 그리고 질문이 들어오면 거기에 해당되는 정보를 찾아 템플릿 문장에 넣어 출력합니다.

 

지식그래프 : 아이유->키 = 160cm
질문 : 아이유 키가 얼마야?
의도 : 지식검색 / 개체 : 아이유, 키
템플릿 문장 : (인물)의 (특성)은/는 (수치)입니다.
대답 : 아이유의 키는 160cm입니다.

 

 

 

이런 방식의 문제점은 우선 위키의 내용을 분석하여 지식그래프로 변환하기가 어렵다는 것입니다. 그리고 의도를 판단한 후 대답 문장을 생성하는 것도 일일이 사람이 코딩을 해야합니다.

 

반면에 논문에서는 이러한 과정을 모두 학습으로 구현하였습니다. Memory Network와 Transformer를 합쳐서 Transformer Memory Network 모델이라고 부릅니다.

 

이전 대화 기록을 보고 IR(Information Retrieval)에서 관련된 위키페이지를 찾고 유사도가 높은 여러개의 문장들을 뽑아냅니다. 이 부분은 학습이 아니라 기존 검색 시스템을 사용합니다. 그리고 첫번째 스테이지에서 후보 문장 중 가장 관련이 높은 문장을 선택합니다. 그리고 두번째 스테이지에서 선택된 위키 문장을 사용하여 새로운 대답을 생성합니다.

 

 

 

이 모델의 장점은 사람이 개입하지 않아도 질문에 대해서 위키정보를 검색하여 적절한 대답을 자동으로 만든다는 것입니다. 또한 딥러닝의 특징인 일반화로 인해 학습하지 않은 주제에 대해서도 스스로 위키의 정보를 이용해 대답을 할 수 있습니다. 다시 말하면 위키문장 자체를 학습하는 것이 아니라 위키의 문장을 찾아 가공하여 새로운 문장을 만드는 방법을 배우는 것입니다.

 

스크린샷을 보면 학습 데이터에 있는 E-book 주제만이 아니라 처음 접하는 Shower라는 카테고리에 대해서도 상당히 자연스럽게 문장을 만들어내고 있습니다.

 

List of Articles
제목 글쓴이 날짜 조회 수
ChatGPT 2달만에 누적 사용자 1억명 돌파 깊은바다 2023-02-03 88
ChatGPT 톺아보기 - 인공지능의 역사부터 신경망, 초거대AI, ChatGPT까지 file 깊은바다 2023-02-01 310
ChatGPT 한글 자동번역 크롬 확장프로그램 깊은바다 2023-01-17 1846
Koko 심리상담 서비스에서 GPT-3 대답 추천 기능을 도입 file 깊은바다 2023-01-11 296
ChatGPT보다 한글을 더 잘 대답하는 모델 - Claude file 깊은바다 2023-01-10 816
ChatGPT와 유사한 서비스 - Chatsonic file 깊은바다 2023-01-09 793
페이지링크와 ChatGPT 대화를 동시에 지원하는 검색엔진 - You.com 깊은바다 2022-12-27 235
ChatGPT에게 챗봇을 만들어보라고 해봤습니다 file 깊은바다 2022-12-26 412
ChatGPT는 새로운 검색엔진이 될까 file 깊은바다 2022-12-06 506
OpenAI의 대화전용 딥러닝 모델 - ChatGPT file 깊은바다 2022-12-02 964
네이버의 초거대모델인 하이퍼클로바 가격 공개 깊은바다 2022-08-24 1817
유저 피드백을 받아 지속적으로 학습을 하는 챗봇 - BlenderBot 3 file 깊은바다 2022-08-06 1135
최신 자연어처리 모델 소개 file 깊은바다 2022-07-11 1172
러시아의 구글 얀덱스, 100B 초거대모델 무료 공개 깊은바다 2022-06-26 804
구글의 초거대모델 PaLM의 추론과 상식 능력 file 깊은바다 2022-05-20 837